作者TASKCTL·2022-04-26 18:12

数据库运维工程师·环赛信息技术有限公司

【国产自研】运维自动化平台管理工具，TASKCTL 8.0 ETL作业调度工具应用环境搭安装

字数 9035阅读 1813评论 0赞 0

## TASKCTL 8.0

8.0 是一款基于 B/S 架构的【[企业级免费ETL任务批量处理工具]它支持各类脚本任务程序和扩展；具备可视化图形拖拽设计界面，以及可视化任务作业管理、计划调度、实时监控、消息提醒和日志分析功能；有效弥补了传统 ETL 工具在调度管理和监控分析方面不足；同时平台还提供原数据管理、数据质量、版本控制、日志分析等完善的辅助管理功能，为企业提供数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化数据整合服务。

** 核心结构**

![](https://static001.geekbang.org/infoq/4c/4c584a5ebd23453021c84b092010207e.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)

由上图可知应用层为客户端，控制层为服务端。同时，服务端完成对目标层的调度控制。整个平台采用无数据库设计，每层之间以 TCP 作为通信协议。

* 应用层从功能的角度，主要分 admin，designer，monitor。从应用渠道的角度，又分 Web 端及 Windows 应用客户端渠道与后台字符界面客户端渠道。同时，为了进一步方便用户，系统服务端还提供了丰富的控制操作行命令。
* 控制层是多级金字塔架构，顶层为服务控制节点，完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层完成与目标服务器（ETL 等）的控制交互。代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。
* 目标层，是整个产品所控制的目标，比如我们的 ETL 服务器，作业工作站等。

## 获取安装包

软件安装包都可以通过访问[产品官网下载页面获取]。若需要其他 Unix 环境服务端软件，例如【Aix 版本】，可联系官方获取。

1.  后台服务核心+字符界面客户端集成安装包

根据操作系统类型【32 位/64 位】选择对应的软件下载。

2.  在线应用客户端

需要【安装 jdk 1.8 版本】

## 安装概述

由产品的核心架构图以及获取的产品安装包，我们清楚该产品分为两部分安装，即后台核心系统安装和应用客户端系统安装。而后台核心系统安装又分为核心调度服务安装和核心调度代理安装。而客户端应用系统安装也分为两部分安装，即后台字符界面应用系统安装和在线应用系统安装。

因为后台字符界面应用系统和产品核心系统环境差不多，所以把核心产品系统和后台字符界面系统放到一个安装包里，即后台软件安装包，这样也是方便后面提到的典型安装部署。

## 核心安装

产品核心由核心调度服务节点和核心调度代理节点构成，它们协同工作，共同完成后台核心的各种功能。所以产品核心安装分为核心调度服务节点安装、核心调度代理节点安装。一个平台必须安装且只能安装一个核心调度服务节点，而核心调度代理节点则根据实际情况安装部署，核心调度服务节点中已经集成了一个核心调度代理，当单机部署时，只用安装核心调度服务节点即可。

由于核心采用多层次网络体系，所以对 IP 地址和端口的管理尤其重要，管理员必须合理分配好。

### 核心调度服务节点安装

**安装环境**

![](https://static001.geekbang.org/infoq/ae/ae21bdd374add122cf3e492b0e714372.png)

**安装步骤**

第一步： 解压安装包：把安装包拷贝到需要安装核心调度服务的用户下，解压安装包文件如下：

tar -xvf taskctlforxxxx_x.x.x.tar.gz ----lix系统安装包，不同系统不同安装包

第二步： 配置环境变量：在安装用户下进入到.bash_profile 或.profile 文件中配置环境变量如下：

export TASKCTLDIR=$HOME/task --安装目录export PATH=$PATH:$TASKCTLDIR/bin:. --执行bin目录

（配置完成后使环境变量生效，<重新登录用户或者用 source 命令>，以 echo $TASKCTLDIR 能打印出环境变量值为准）

第三步： 执行安装程序：进入到 cirinst 目录下，执行 inst 程序。然后进入字符界面如下图所示：

![](https://static001.geekbang.org/infoq/bb/bb98fde42a83d071c32f2a49fac60838.png)

点击回车键后，安装程序会自动检查用户环境变量，如果 TASKCTLDIR 环境变量目录存在则继续，否则按照第二步配置好环境变量再重新安装。检查通过后会出现以下界面：

![](https://static001.geekbang.org/infoq/c2/c277c56578b2e4d5ad0022f54e3c8522.png)

关于典型安装我们会在之后的章节进行说明。这里先选择 2 自定义安装。选择好了后会出现以下界面：

![](https://static001.geekbang.org/infoq/df/df552cfb14fd795e9281da682f79c84c.png)

接下来选择 1 核心调度服务安装。安装程序自动开始安装到之前指定的产品目录。并要求输入调度服务节点 IP 地址和监听端口号等信息。如下图所示：

![](https://static001.geekbang.org/infoq/f6/f6d235927b8541389ad19b70424122f0.png)

* IP 地 址：使用管理员分配给服务节点的 IP 地址（必须是本机 IP 地址）
* 端 口：使用管理员分配给服务节点的端口号（必须是未被占用端口）

确认输入信息之后，安装程序提示是否安装范例。如下图所示：

![](https://static001.geekbang.org/infoq/a9/a9deed60f73aaded3f5a975710031b40.png)

这里根据自身需求选择是否安装范例，初次使用的用户建议安装范例，里面有很多范例可以参考学习。

选择完是否安装范例后，默认会启动服务。至此，调度服务节点安装完毕。此时用户可以通过 "ctlninfo 命令" 或者查看 "$(TASKCTLDIR)" 目录下是否产生如下目录：

![](https://static001.geekbang.org/infoq/98/986199283eb05b06e8a407e6fc5ecb66.png)

如果存在，也可间接证明安装调度服务节点成功。

### 核心调度代理节点安装

产品核心由核心调度服务节点和核心调度代理节点构成，默认的单机部署只用安装服务节点即可；当有跨服务器的调度需求时，我们就需要通过安装代理来满足需求。服务节点和代理节点的安装包都是同一个，通过安装时选择不同的选项完成。

**代理节点安装环境**

![](https://static001.geekbang.org/infoq/28/28e5daea7836b675132055df90934546.png)

** 安装步骤**

第一步： 解压安装包：把安装包拷贝到需要安装核心调度代理节点的用户下，解压安装包文件如下：

tar -xvf taskctlforxxxx_x.x.x.tar.gz ----lix系统安装包，不同系统不同安装包

第二步： 配置环境变量：在安装用户下进入到.bash_profile 或.profile 文件中配置环境变量如下：

export TASKCTLDIR=$HOME/task --安装目录  export PATH=$PATH:$TASKCTLDIR/bin:. --执行bin目录

（配置完成后使环境变量生效，<重新登录用户或者用 source 命令>，以 "echo $TASKCTLDIR" 能打印出环境变量值为准）

第三步： 执行安装程序：进入到 cirinst 目录下，执行 inst 程序。然后进入字符界面如下图所示：

![](https://static001.geekbang.org/infoq/d8/d8d6f2f7c06d59ed7b0dba01123cf571.png)

![](https://static001.geekbang.org/infoq/7a/7a252d68a505f76664a552c122e1d980.png)

关于典型快速安装我们会在之后的章节进行说明。这里先选择 2 产品自定义安装。选择好了后会出现以下界面：

![](https://static001.geekbang.org/infoq/2a/2aae95e641042501674af24b158397a0.png)

接下来选择 2 核心调度代理安装。安装程序自动开始安装到之前指定的产品目录。并要求输入代理节点 IP 地址和监听端口号等信息。如下图所示：

![](https://static001.geekbang.org/infoq/ea/ea486bc33e7629b5a943939c9ca29803.png)

* IP 地 址：使用管理员分配给代理节点的 IP 地址（必须是本机 IP 地址）
* 端 口：使用管理员分配给代理节点的端口号（必须是未被占用端口）

确认输入信息之后。如下图所示：

![](https://static001.geekbang.org/infoq/d2/d273cc4ec5ac6093feb213fcc2d62891.png)

至此，代理节点安装完毕。此时用户可以通过 "ctlninfo 命令" 或者查看 $(TASKCTLDIR))目录下是否产生如下目录：

![](https://static001.geekbang.org/infoq/98/986199283eb05b06e8a407e6fc5ecb66.png)

## 应用客户端安装

客户端应用系统分为 web 在线应用系统、【Linux/unix 字符界面】应用系统和【Windows 客户端】应用系统三部分。不同的系统代表用户使用的不同渠道，web 在线应用系统和 Windows 客户端应用系统的界面和操作更直观。而字符界面系统功能更全面。另外，字符界面也是安装在【Linux/unix】下，所以集成在了核心服务的安装包中。

从【8.0 版本】开始，将采用 web 在线应用系统的图例来说明操作步骤。若需要查看【Windows 客户端】的图例，查看早期版本文档。

### 在线应用系统安装

在线应用系统要【安装 java1.8 及以上版本】 通过大量实践测试表明：在监控环境下，Monitor 应用模块是支持实时（延迟不应超过 5 秒）图形监控系统。特别是在启动大量并发监控界面的时候，对系统的性能的要求较高。但在开发环境下，Admin 和 Designer 应用模块对系统性能的要求相对较低。因此目前主流的客户机都能满足生产环境的硬件要求

安装环境

![](https://static001.geekbang.org/infoq/18/18450ded98d83738ced6cdf030e4dd54.png)

** 安装步骤**

1. 环境准备

因为在线应用系统需要安装【java1.8 版本】，可以通过 “java – version” 命令查看具体，如下图所示

![](https://static001.geekbang.org/infoq/71/71db155aa92815c1836f13bd429d13f3.png)

2. 步骤

a) 上传并解压安装【安装包 taskctl-web-7.1.zip】

![](https://static001.geekbang.org/infoq/ab/abcaaf8c2a2ce3dc6a3976dcb96ba38a.png)

b) 进入解压后的目录 taskctl-web-7.1，执行 sh install.sh 命令。确定 web 应用的 IP/端口及调度服务端的 IP/端口信息。

![](https://static001.geekbang.org/infoq/7b/7ba941364c9dc5c409d85f9a7973e790.png)

c) 执行 startup.sh 启动 web 应用。通过 Webkit 内核的浏览器（如：360，chrome 等）访问地址

d) 安装过程完毕

### Windows 应用系统安装

该客户端是 windows 操作系统下，基于【.net framework 4.0 环境】开发的【C/S 结构】的应用系统。

**安装环境**

![](https://static001.geekbang.org/infoq/90/90b40cda465fb4c3e6a98d5995dc7484.png)

** 安装步骤**

第一步： 客户端用户权限设置：软件操作用户具有以下系统权限如下图：

![](https://static001.geekbang.org/infoq/0a/0af684768cb42a02fd7dd81b70633830.png)

第二步： 解压安装包：【TaskctlClientInstall_x.x.x.zip】

第三步： 运作安装程序：执行安装程序 "TaskctlClientInstall_x.x.x..exe" 进入安装向导，如下图所示：

![](https://static001.geekbang.org/infoq/67/671d67f2434c5c1abf70d9c9ecab15b5.png)

点击<下一步>出现如下图所示：

![](https://static001.geekbang.org/infoq/84/844a05300ced157141528ac37947d241.png)

需要用户接受安装许可协议才能下一步。点击<我接受>，出现如下图所示：

![](https://static001.geekbang.org/infoq/45/45514d62a667fa972faef4ad62ba9299.png)

点击<下一步>，出现如下图所示：

![](https://static001.geekbang.org/infoq/5d/5dd6fda26efcaa220cd66e46881d5b76.png)

选择好安装路径后，点击<下一步>出现如下图所示：

![](https://static001.geekbang.org/infoq/75/7572e8a7be506b516da625d8b7b71e5e.png)

如果确认安装点击<安装>，将进入安装界面并完成安装。出现如下图所示：

![](https://static001.geekbang.org/infoq/45/459e45c4101efc4826ee9bdea6a834ec.png)

点击<完成>按钮即可。此时在桌面上出现 Admin/ Designer /Monitor 三个快捷键应用程序图标。

### 字符界面应用系统安装

** 安装环境**

![](https://static001.geekbang.org/infoq/d8/d8a757fef2ca207f82eb4bff22f6a5e7.png)

** 安装步骤**

第一步： 解压安装包：把安装包拷贝到需要字符界面客户端的用户下，解压安装包文件如下：

tar -xvf taskctlforxxxx_x.x.x.tar.gz ----lix系统安装包，不同系统不同安装包

第二步： 配置环境变量：在安装用户下进入到.bash_profile 或.profile 文件中配置环境变量如下：

export TASKCTLDIR=$HOME/task --安装目录 
	 export PATH=$PATH:$TASKCTLDIR/bin:. --执行bin目录

（配置完成后使环境变量生效，<重新登录用户或者用 source 命令>，以 "echo $TASKCTLDIR" 能打印出环境变量值为准）

第三步： 执行安装程序：进入到 "cirinst 目录下，执行 inst 程序" 然后进入字符界面如下图所示：

![](https://static001.geekbang.org/infoq/d8/d8d6f2f7c06d59ed7b0dba01123cf571.png)

点击回车键后，安装程序会自动检查用户环境变量，如果 "TASKCTLDIR 环境变量" 目录存在则继续，否则按照第二步配置好环境变量再重新安装。检查通过后会出现以下界面：

![](https://static001.geekbang.org/infoq/7a/7a252d68a505f76664a552c122e1d980.png)

关于典型快速安装我们会在之后的章节进行说明。这里先选择 2 产品自定义安装。选择好了后会出现以下界面：

![](https://static001.geekbang.org/infoq/d8/d85b34da344a0939dc67133b0d99f6a5.png)

接下来选择 3 字符界面客户端安装。安装程序自动开始安装到之前指定的产品目录。并要求输入服务端 IP 地址和服务端端口号等信息。如下图所示：

![](https://static001.geekbang.org/infoq/2d/2d83713b794f81126764d1393e5cb07b.png)

* IP 地 址：是服务端的 IP 地址，和前面安装的服务节点 IP 地址一致
* 端 口：是服务端的端口号，和前面安装的服务节点端口一致

至此，字符界面客户端安装完毕。此时用户可以查看 "$(TASKCTLDIR)" 目录下是否产生如下目录：

![](https://static001.geekbang.org/infoq/8a/8a99ea954fcd6e5b4b3edd86f2e58458.png)

此时用户可以使用 ctladmin 管理平台、ctlflowc 开发平台和 ctlmoni 监控平台单个软件。

## 典型安装

**安装环境**

![](https://static001.geekbang.org/infoq/8e/8e373309e7a2d86295446219773a2a76.png)

** 安装步骤**

第一步： 解压安装包：把安装包拷贝到需要安装服务的用户下，解压安装包文件如下：

tar -xvf taskctlforxxxx_x.x.x.tar.gz ----lix系统安装包，不同系统不同安装包

第二步： 配置环境变量：在安装用户下进入到.bash_profile 或.profile 文件中配置环境变量如下：

export TASKCTLDIR=$HOME/task --安装目录 
	 export PATH=$PATH:$TASKCTLDIR/bin:. --执行bin目录

（配置完成后使环境变量生效，<重新登录用户或者用 source 命令>，以 "echo $TASKCTLDIR" 能打印出环境变量值为准）

第三步： 执行安装程序：进入到 "cirinst 目录下，执行 inst 程序" 然后进入字符界面如下图所示：

![](https://static001.geekbang.org/infoq/d8/d8d6f2f7c06d59ed7b0dba01123cf571.png)

![](https://static001.geekbang.org/infoq/92/92deebb1715acaebf5c2629a08fbdef8.png)

这里我们选择 1 典型安装。安装程序会依次安装字符界面客户端、核心调度服务控制节点，并要求输入调度服务节点 IP 地址和服务节点监听端口号。

![](https://static001.geekbang.org/infoq/04/04b9bd0e462fbaca47c17e5e1e67160c.png)

* IP 地 址：使用管理员分配给服务节点的 IP 地址（必须是本机 IP 地址）
* 端 口：使用管理员分配给服务节点的端口号（必须是未被占用端口）

接下来就是是否安装范例，根据自身需求选择后，回车，服务就安装完成并启动了。

ETL集群分布式调度

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

【国产自研】运维自动化平台管理工具，TASKCTL 8.0 ETL作业调度工具应用环境搭安装

添加新评论0 条评论

作者其他文章

相关文章

相关资料