默认存储再在etcd键值存储系统，当然，也可以存储在其他平台
通常用得较多的场景：1、对象存储2、时空数据3、Feeds流4、 推荐画像、、、一般来说：面向列的，容量大的数据都可以采用hbase存储
实时数据仓库与传统数据仓库的融合：实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?实时数据仓库与传统数据仓库的融合：1)实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?2)实时数据仓库的实时数据与历史数据仓库的历史数据是统一存储还是分开存储?（问...
(more)大数据平台中适合存放数据量极大，而且是一次写入，多次读的应用需求，存储在HDFS分布式文件系统，采用多副本机制保障数据的安全和可靠影像类数据包括视频数据和图像数据，非常适合存放在HDFS中，系统将影像类数据进行切分，按照128MB大小进行切分，然后对每个128MB的数据进行多副本进行...
其实你知道怎么设计事实表 跟维度表，这事基本就解决了。因为你关心的那些本身就是这个数仓模式下的火候点甚至说是争论点，这也是这几年敏捷BI大行其道的原因之一。就是数仓模型或者BI模型无法快速的支撑业务灵活的变化。任何抛开数据量来谈数仓设计都是耍流氓啊。因为设计...
分享下经验吧，我们公司目前有三套BI，把其中一个定性为集团级BI，其他的产品为辅助品。针对这个角度，联合业务系统推行数据治理，划分了一些需要重新梳理的主数据，目前也已经完成了一些梳理。然后再引入统一指标体系（打个重点），目前也在完善中。推行过程中尊着核心业务为主，ERP 跟财...
无需优化，时间花费不在select from db上，而是花费在生成一个大excel文件上。比起写文件系统，查询数据库的速度简直可以忽略不计。这么大数据，能够导出已经不错了。为什么要导出50万数据？用DB直接导出多好。50万条出来了有什么方式能看呢？最佳实践告诉我们1000行以上的excel是...
我们银行目前也在用FusionInsight大数据平台C8.0版本，实时数据可以放到HBASE里面，用HIVE ON HBASE的方式去处理实时的数据，SPARK SQL处理轻量级别的数据没有问题，大量的数据SPARK SQL 不合适，SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。...
匿名用户
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联，和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表，并形成数据模型，共以后或其他业务线使用。...
所谓的实时数仓，最主要的就是当天的数据，银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据（保存几天的数据可以增加容错的机制），各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...
