实时数据仓库与传统数据仓库的融合:实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?

实时数据仓库与传统数据仓库的融合:1)实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?2)实时数据仓库的实时数据与历史数据仓库的历史数据是统一存储还是分开存储?显示全部

实时数据仓库与传统数据仓库的融合:
1)实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?
2)实时数据仓库的实时数据与历史数据仓库的历史数据是统一存储还是分开存储?

收起
参与31

查看其它 7 个回答jamiee的回答

jamieejamiee数据库架构师某股份制银行

1)实时数据更加强调数据采集、数据加工、数据应用的实时性, 实时数据处理的技术实现上与历史数据有比较大的差异,数据模型要统一比较困难,是否可从以下两点去尝试。
1.数据分层体系上可以借鉴传统数仓,比如数据数据采集是否可与贴源数据对应,实时的数据清洗和标准化是否可以整合层对应起来。
2.实时数据采集和加工结果可以批量持久化到存储中,用于仓库的贴源数据采集和整合层加工。
2)实时数据处理过程由于时效性的考虑,应该使用访问效率比较高的存储,比如SSD、内存,我认为两者的存储是要独立的。结合上面的第2点如果可以实现的话,最终采集和加工也可以与历史数仓整合到一起。

银行 · 2019-08-31
浏览4033

回答者

jamiee
数据库架构师某股份制银行
擅长领域: 大数据实时数仓数据库

jamiee 最近回答过的问题

回答状态

  • 发布时间:2019-08-31
  • 关注会员:8 人
  • 回答浏览:4033
  • X社区推广