实时数据仓库与历史数据仓库应该如何应对高维数据建模和处理?

现在,无论实时数据仓库还是历史数据仓库,数据的维数越来越高,用户分析需求也越来越复杂,我们应该如何对高维实时数据和高维历史数据进行建模、存储和分析?显示全部

现在,无论实时数据仓库还是历史数据仓库,数据的维数越来越高,用户分析
需求也越来越复杂,我们应该如何对高维实时数据和高维历史数据进行建模、存储和分析?

收起
参与10

查看其它 1 个回答topzgm的回答

topzgmtopzgm课题专家组软件架构设计师People's Bank of China

如果维数很高,比如银行账户,维数达到100或者上千个,我们怎么灵活地建模?同时考虑分析的效率?

银行 · 2019-09-04
浏览2735
  • 纬度多没关系,只要元数据一份并且已经做好,一个纬度就是写一个SQL而已。 建模不是纬度方面的事情。他更多的是对业务的理解和梳理。 分析效率更多的在于三个方面,1.底层数据的统一,不重复建设。2.清晰的业务目标,不乱提需求,控制需求的准确性。3.找个数据科学家,对业务的元数据建模,就像做好积木块。
    2019-09-04
  • 从我们的实践来看,数据仓库建模,“维度很高”,是个难题,还是比较难于处理的,不知是否有比较好的实践经验或者推荐的内容材料。
    2019-09-04
  • 海阳兄,说的很对,模型是业务的产物,维度是不同粒度的数据有不同的维度。相同粒度的数据不同的维度就是二个不同的SQL,不会很难。难的是对业务掌握的程度
    2019-09-05

回答者

topzgm
软件架构设计师People's Bank of China
擅长领域: 数据库服务器存储

topzgm 最近回答过的问题

回答状态

  • 发布时间:2019-09-04
  • 关注会员:2 人
  • 回答浏览:2735
  • X社区推广