银行数据仓库选型讨论

谢谢各位的参与讨论。:handshake收起

前天参与选型讨论了，数仓考虑的产品基本是Netezza，Teradata，DB2 DPF，最终结果如何，还不得而知，领导层的事琢磨不透，静观其变，期望年底能顺利上线新系统。收起

回复 26# Shane_Qian


甲方能重视培养自己的DBA，值得肯定。收起

回复 27# lazyscar


IBM实验室的水平今非昔比了，唉。收起

回复 25# lazyscar


   这个经验好，有机会沟通沟通。收起

回复 13# zcl3264

当然确定90%左右新上线系统DB2。收起

回复 25# Shane_Qian
其实我并无黑DB2的意思，毕竟好歹用DB2搭建DW都2年多了，只是实话实说其中存在的一些问题罢了。
IBM的800打了不少，在维护过程中也认识了一些维护人员或者IBM实验室里的人，水平只能说是良莠不齐。
数据仓库产品的话，Teradata和Greenplum之前的项目实际实施使用过，现在用的是DB2 DPF，Netezza在POC测试中接触了下，个人感觉是TD最为成熟（就是贵！），GP和NZ差不多（EMC收购前的GP，也就是4.0版本前的不咋滴），最后才是DB2 InfoSphere Warehouse。收起

同上，正在某行使用DB2 InfoSphere Warehouse+Datastage8.7，使用中存在一定的问题：
1、DB2使用分区表的时候，在进行拆离分区、组合分区的时候经常出现各种莫名问题，咨询800后到现在都还没得到明确的解决方案。
2、数据标准化的时候，不合法的varchar字段转日期字段不好处理，详见我发的贴DB2 InfoSphere Warehouse判断日期是否合法。同理，其他的自定义函数使用非常不便。
3、对DBA的要求较高，其中的日志空间设置、锁数量（LOCKLIST）等参数的设置，若处理不好性能还不如单节点的。
4、扩容麻烦，增加节点时IBM给出的方案是新建表空间在新的节点组，通过admin_move_table的方式处理每一张表，比TD/NZ/GP等数据仓库产品差远了。
5、分布键定义后的查询机制比较傻X，例如多个字段拼接成分布键，在表关联的时候通过多个字段拼接与另一张表的单个字段的分布键做关联，性能慢得令人捉狂，非要对第一张表进行处理，先拼接成一个字段做分布键，再和另一张表关联，才能实现。
现整考虑往其他的数据仓库产品上迁移。收起

回复 7# wolfop

我主要是想多了解DB2 DPF，puredata这东西没概念，puredata应该比DPF用得少，也没DPF成熟吧。DPF，主要想了解，数据量范围在10TB至50TB，50TB至100TB，100TB以上，这三种情况下，
DPF如何规划，查询性能，导入性能，备份周期，节点扩展，维护成本，升级成本，数据接入，ETL工具，报表分析工具等一系列问题。
就这些问题，wolfop能否根据您目前使用的情况，稍微介绍一下，帮忙一下。
因为现在处于选择产品阶段，我领导让我了解一下，我起码得对这些问题有点概念才好，过两天也要找IBM做数据仓库的过来交流，到时候再分享一下。
ETL工具datastage不知道用过的同学感觉怎样？我只用过Teradata的ETL AUTOMATION工具。收起

回复 8# xuguanjun1021

呵呵，看人看单位，不一定。收起