实时数据仓库与历史数据仓库应该如何应对高维数据建模和处理?

现在,无论实时数据仓库还是历史数据仓库,数据的维数越来越高,用户分析
需求也越来越复杂,我们应该如何对高维实时数据和高维历史数据进行建模、存储和分析?

2回答

匿名用户匿名用户
zxl1982aigoppb赞同了此回答
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联,和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。...显示全部

我觉得分几步来做:
1.数据全部收集到一个数据平台。不管是实时的还是历史的。
2.做好数据库的清洗和基础关联,和宽表的建立。
3.根据对数据的实时性要求进行分级处理。
4.成立每个业务分析团队在款表上做分析。
5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。譬如标签体系,用户体系。

收起
 2019-09-04
浏览441
周光明周光明  软件架构设计师 , People's Bank of China
如果维数很高,比如银行账户,维数达到100或者上千个,我们怎么灵活地建模?同时考虑分析的效率?显示全部

如果维数很高,比如银行账户,维数达到100或者上千个,我们怎么灵活地建模?同时考虑分析的效率?

收起
 2019-09-04
浏览357
  • 纬度多没关系,只要元数据一份并且已经做好,一个纬度就是写一个SQL而已。 建模不是纬度方面的事情。他更多的是对业务的理解和梳理。 分析效率更多的在于三个方面,1.底层数据的统一,不重复建设。2.清晰的业务目标,不乱提需求,控制需求的准确性。3.找个数据科学家,对业务的元数据建模,就像做好积木块。
    2019-09-04
  • 从我们的实践来看,数据仓库建模,“维度很高”,是个难题,还是比较难于处理的,不知是否有比较好的实践经验或者推荐的内容材料。
    2019-09-04
  • 海阳兄,说的很对,模型是业务的产物,维度是不同粒度的数据有不同的维度。相同粒度的数据不同的维度就是二个不同的SQL,不会很难。难的是对业务掌握的程度
    2019-09-05

提问者

周光明软件架构设计师, People's Bank of China

问题状态

  • 发布时间:2019-08-29
  • 关注会员:2 人
  • 问题浏览:1160
  • 最近回答:2019-09-04
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30