银行数据仓库选型讨论

1、运行维护方面考虑，如果行里目前在数据仓库方面缺少人力，可以选择全盘的外包。将项目开发、运行维护进行全部外包。只有少量人力进行管理。这样成本就是会高一些，可以选取像“城商联盟”这类的公司。如果想自己搞呢，就是无所谓了，但是成本也不低，有可能投入很大，周期长，结果还不一定怎么样。比较推荐是外包。目前有很多公司做数仓呢。还有要看是什么级别的银行了而且在什么地方。如果是省级银行比较推荐自己搞，因为有人有钱，技术力量全部是自己的，见效快，维护也是自己的。如果是小银行就推荐全部外包，找想城商联盟一类的公司，周期短，见效快，费用高，技术业务全部是听人家的。
2、方便与其他接口对接也是一个主要考虑因素。目前市场上主流的数据仓库就那几样，基本上能涵盖了所有的技术，当然也要考虑行里本身科技力量考虑。尽量选取大家都能接受的，也就方便了维护等。
3、最主要的一点还是要看行里面的领导意见与预算成本。哈哈收起

回复 44# neu_lcj
嘿嘿，非纯MPP架构的数据库能解决分布键的问题，呵呵。收起

回复 27# lazyscar
你的映象真是IBM怎么自己做死自己的证明，哈哈收起

回复 41# zcl3264
当年没收购NETEZZA的时候，可不是这样的，有不少DB2 DPF性能比NETEZZA好的报告。
而且netezza这种并发支持这么一般的系统，现代DW真的适合？收起

回复 43# neu_lcj
DB2 for Z根本不适合做DW，这种对比没意义。几乎随便弄一个mpp都会比DB2 FOR Z跑OLAP负载快。收起

回复 42# neu_lcj
和谁比？什么SQL，怎样的数据。我不认为NETEZZA这种用pg改的优化器能有多厉害，否则也不会要IDS的研发去帮忙改NZ的优化器。，DB2 DPF我看到最大的性能问题是存储配置极其不合理，大部分情况大马（CPU）拉小车。netezza这种appliance内置不会出现这种情况。收起

回复 25# lazyscar

  关于锁参数设置，肯定是ETL 做大量增删改的时候需要一个比较大的值，一般来说总体锁设置1G ~ 4G对于仓库系统是够用的。如果不够，1. ETL job需要看是否能及时提交。2. 迫使DB2 lock escalation .

  对于组合分布键。你们最后新建字段是正解。 即使对于MPP数据库(NZ,TD,GP), 也是建议分布键字段越少越好，最好是一个。 不要赌气说迁移。这种情即使迁移，其他数据库也不可能解决问题。收起

回复 41# zcl3264


     Netezza真的是好东西， 我们正在做从大机DB2到Netezza的迁移。(大家都知道DB2 for Z/OS是oracle老板埃里克森“敬畏”的数据库。)  对比测试结果表明在绝大部分仓库应用场景下，NZ快了2~70倍。报表和ETL性能明显提升。
     NZ的最大问题在于并发性。目前没有得到官方支持的最大并发数的文档。其实这个数据也很难得到。因为每个场景有自己的独特性。但是不少NZ consultant给出的建议并发不超过90个。
      其实大家不要以为90个很小。 我们在某国内领先零售企业的仓库上(后台DB2)，最大的并发数(同时运行，不是同时连接)也就是20~30个。 并且一旦性能提高。每一个事务很快结束，同时并发数也会显著下降。所以90个并发一般情况下也是够用的。收起

回复 21# wolfop

   有这方面数据和文章吗？我们正在用Netezza，基本上都快了2~70倍。收起

其实对于DB2 DPF和Netezza的选择，之前有IBM Lab的人做过一些测试，貌似其实在很多的场景下Netezza的性能比DB2 DPF要好，当然实际上也不知道两者的硬件区别以及机器配置究竟有多大。
所以，如果楼主力荐DB2 DPF，我个人倒是担心IBM销售跑来忽悠Netezza，那就麻烦了。收起