政府机关

datastage ETL 工具如何做到 HA 以及负载均衡?

大家讨论一下在使用 datastage ETL 工具,如果进一步考虑到 HA 的故障转移和 job 的负载均衡,是否有好的解决方案?
参与9

8同行回答

daolin2005daolin2005数据库管理员某城商行
HA的基本没有. 个人觉得主要是ETL的作业可以重跑,因为源数据有. 目标库也在, ETL的作业在设计的时候就考虑到了重跑. 所以侧重点并没有太多关注HA.负载均衡的有一篇文章. 这一点DataStage做的非常出色. 是正真意义上的网格并行计算. 内存流水线作业.集群配置的有一篇文章...显示全部
HA的基本没有. 个人觉得主要是ETL的作业可以重跑,因为源数据有. 目标库也在, ETL的作业在设计的时候就考虑到了重跑. 所以侧重点并没有太多关注HA.
负载均衡的有一篇文章. 这一点DataStage做的非常出色. 是正真意义上的网格并行计算. 内存流水线作业.
集群配置的有一篇文章可以参考.
www.ibm.com/developerworks/cn/da ... ticle/dm-1111sunch/收起
软件开发 · 2013-06-18
浏览1448
xiaoliuzixiaoliuzi技术经理科莱特
这个做比较复杂,要依赖其他第三方产品可以做,个人感觉没必要。显示全部
这个做比较复杂,要依赖其他第三方产品可以做,个人感觉没必要。收起
互联网服务 · 2013-06-18
浏览1404
jimmyjimmy数据仓库工程师招行软件中心
回复 6# macrozeng    失败可以设置重新执行但是一般失败的话,重新执行也会失败。。。显示全部
回复 6# macrozeng


   失败可以设置重新执行
但是一般失败的话,重新执行也会失败。。。收起
银行 · 2013-06-06
浏览1391
macrozengmacrozeng数据库管理员IBM
就是没有太好的办法,监控 job 失败或者 datastage 失败是个问题,还有就是重做的数据也是个问题显示全部
就是没有太好的办法,监控 job 失败或者 datastage 失败是个问题,还有就是重做的数据也是个问题收起
政府机关 · 2013-06-06
浏览1399
菜菜鸟一号菜菜鸟一号数据库管理员龙信科技
关注!显示全部
关注!收起
互联网服务 · 2013-06-06
浏览1431
jimmyjimmy数据仓库工程师招行软件中心
DATASTAGE的HA没有听说过,老大有没有做过这方面的显示全部
DATASTAGE的HA没有听说过,老大有没有做过这方面的收起
银行 · 2013-06-06
浏览1382
macrozengmacrozeng数据库管理员IBM
DATASTAGE是可以实现集群,但是好像这种 cluster 主要是用于并行 job ,可以实现负载均衡,但是 HA 怎么实现呢? 比如说一个 primary datastage server 和 一个 standby datastage server ,如果 primary datastage server 上的 job 失败了,是否可以在 standby datastage server 上...显示全部
DATASTAGE是可以实现集群,但是好像这种 cluster 主要是用于并行 job ,可以实现负载均衡,但是 HA 怎么实现呢? 比如说一个 primary datastage server 和 一个 standby datastage server ,如果 primary datastage server 上的 job 失败了,是否可以在 standby datastage server 上重做?收起
政府机关 · 2013-06-06
浏览1442
jimmyjimmy数据仓库工程师招行软件中心
只知道DATASTAGE可以实现集群,对于支持并行的控件组成的JOB可以运行于多个节点:)显示全部
只知道DATASTAGE可以实现集群,对于支持并行的控件组成的JOB可以运行于多个节点:)收起
银行 · 2013-06-06
浏览1394

提问者

macrozeng
数据库管理员IBM

问题状态

  • 发布时间:2013-06-06
  • 关注会员:1 人
  • 问题浏览:8640
  • 最近回答:2013-06-18
  • X社区推广