etl - 主题 - twt企业IT交流平台

问题
热度排序 时间排序

保险NFS·2023-05-30

同一存储中etl数据仓库和nas相互影响如何解决？

回答

关注1

生活生产服务其它etl·2019-11-08

寻求专业的ETL调度工具？

kaodaxia · 北京银企融合技术开发有限公司　擅长领域：大数据, 大数据平台, 分布式系统

47 会员关注

我们有一套成熟的产品，支持异构数据源、实时同步、离线调度、数据地图、元数据等功能，有需要可以联系交流下

赞同2

回答5

关注6

互联网服务spark sql·2018-10-17

使用Spark Sql进行ETL数据抽取时如何保证Spark集群的高可用性？

lxcorange · 某券商　擅长领域：大数据, 数据库, 数据仓库

294 会员关注

spark分布式搭建方式大致分为三种：standalone、yarn、mesos。standalone是官方提供的一种集群方式，企业一般不使用。yarn集群方式在企业中应用是比较广泛的。mesos安装适合于超大型集群。1、在使用spark sql作为etl抽取数据时，可通过程序逻辑将源表划分为多个数据段，对每个数...

赞同3

回答1

关注1

保险无法连接数据库·2017-10-21

KETTLE ETL 提数无法连接数据库？

回答1

关注2

保险kettle·2017-10-21

ETL Kettle 工具提数效率低并且慢？

ytskfzj · 北京圣博润高新技术股份有限公司　擅长领域：灾备, 存储, 数据库

30 会员关注

...作为一个集成商，我遇到这样的问题只会升级硬件、添加设备。。。这比去做优化成本低多了

保险数据库·2017-09-19

y18511664518 · 长城超云　擅长领域：数据库, 存储, 关系型数据库

601 会员关注

分批提取，不要一次全搞，你这个明显是数据量太大了。补充一点，优化下你的语句。

赞同9

回答3

关注4

软件开发etl·2017-08-14

如何通过TASKCTL工具实现kettle作业的多次循环执行？

匿名用户

可以，TASKCTL流程图中的kettle作业属性框中的Cycle属性项，参数值为整数。32-1.png

赞同2

回答1

关注1

软件开发kettle·2017-07-24

TASKCTL与kettle软件哪个更好用？

王磊磊 · 移动　擅长领域：服务器, 存储, 数据库

235 会员关注

两款都是etl工具，我觉得没有什么好用不好用之说，还是习惯了就好。TASKCTL是ETL的调度工具。kettle的ETL的开发工具。但是kettle的调度工具不是很好。

银行大数据平台·2017-07-07

冯帅 · 贝壳金服　擅长领域：数据库, 关系型数据库, 数据库系统改造

309 会员关注

这个问题有三个方向，一是建立统一的数据平台，做数据的加工整合方便以后展示二是业务系统的整合三是如果方便的话，尽量统一使用相同的数据库

赞同

回答4

关注5

保险应用场景·2017-07-03

传统ETL ，Mapreduce，Hive，Spark等处理数据文件的应用场景都有哪些？

美国队长 · Alibaba　擅长领域：大数据, 大数据平台, 数据库

511 会员关注

传统的ETL在数据量不大比如<20G的数据文件处理，他的优势在于他是可视化的步骤比较简单，上手比较快Mapreduce对于数据量比较大的，处理数据业务逻辑变化不是很大，因为每次用java或者python等都得反复调试，比如淘宝底层日志解析，日志的格式基本都不会有太大的变化，写一次Mapredu...

赞同3

回答2

关注5