我们在做银行的交易监控实时分析，需要做数据库选型，大致的情况：
每日1亿条交易数据，每秒平均4000笔交易，交易大概有50个属性字段，数据保存半年时间
数据分析我们用了很多缓存、异步队列等技术，但对于数据的持久化保存，考虑用hbase、oracle rac、db2 purescale， hbase在海量数据存储方面表现优秀，但多维数据关联查询就很难办了。
1、银行交易监控实时分析数据库如何选型？
2、不知道有没有用DB2 集群实现过海量数据（百亿记录级）的存取，应用效果服务，有没有需要注意的地方？
提到交易表50个属性字段，如果使用hbase进行存储查询，那么根据hbase的特性key/value存储形式以及底层存储key的有序性，在设计key上是否可以对经常进行需要关联的字段拼接成一个key，这样既保证查询速度，又保证sql的简便。如果上述路数行不通，那可以考虑使用hive，hive中数据的优化处理还是有很多方法的，尤其数据关联方面。最后提到表的建模优化，交易表50个属性字段，这些字段能否进行拆开成两张表，具体还得看这些字段在实际中数据的冗余度。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30