第一个问题:1.制度和流程不能够完全在线上操作。操作完全由甲方操作,不让外包人员碰到数据就好。2制度和流程健全系统也可满足操作,只需要在系统上操作就好,ETL做为数据中转,接触不到数据,这样可以保证数据安全。第二个问题
这个问题很杂,也很难,因为不同的人提出的相同的报表,但是不同的口径,我做银行报表几年了,经验就是要知道业务拿这个东西去干什么,去怎么使用,给什么人使用。当你弄明白这些,你就真正的知道了他的需求。在这个过程中,你能学到业
GSDB华为的,最近很炎
这个问题比较大啊。1 数据的收集 .ODS2.想好大数据和传统数仓之间的关系3.传统数据与大数据之间的数据交互
首先要明白的问题是:你的实时的数据量大吗?如果数据量不大性能这块没有必要,普通的数据库就够了。如果你的实时数据和传统的数据仓库放到一起,那性能应该是传统数仓要考虑的问题。更简单点说,实时的数据追求的是数据的时效
实时的数仓更贴近业务,互连网公司的技术更先进
可以去学习一下ELK 这个可以完美的解决你现在的问题
我们银行目前也在用FusionInsight大数据平台C8.0版本,实时数据可以放到HBASE里面,用HIVE ON HBASE的方式去处理实时的数据,SPARK SQL处理轻量级别的数据没有问题,大量的数据SPARK SQL 不合适,SPAKR 的计算单元RDD每
天级的的就是传统的数仓,ODS ,其他的实时性技术选型应该一样,只是频度不一样,技术方案应该都是一样的
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30