数据湖的数据范围怎么确定,里面加工的程度怎么界定?建湖的组织架构有哪些?

数据湖的数据范围怎么确定,里面加工的程度怎么界定。不可能将所有数据都导进去,并且加工到各个指标吧?还有就是是否有保险行业的一些标准,或者建湖的组织架构有哪些

参与3

1同行回答

xclu_csdcxclu_csdc软件开发工程师csdc
1、数据湖的数据范围要看具体的规划,一般企业会建立历史数据查询存储平台,逐步将业务系统的历史数据,如交易流水等,逐步迁移至历史数据查询存储平台,由平台承接所有历史数据查询业务。2、数据湖中数据一般存储为宽表的形式,以便于提升查询性能,可以在日终加载时将业务系统产生的...显示全部

1、数据湖的数据范围要看具体的规划,一般企业会建立历史数据查询存储平台,逐步将业务系统的历史数据,如交易流水等,逐步迁移至历史数据查询存储平台,由平台承接所有历史数据查询业务。
2、数据湖中数据一般存储为宽表的形式,以便于提升查询性能,可以在日终加载时将业务系统产生的生产数据加工为宽表,加工数据的口径应根据具体查询业务的口径确定。
3、可由独立团队负责数据湖建设、维护,该团队一般归属于大数据部门,团队内部可分为数据治理岗、数据需求分析岗、平台设计开发岗、运维岗等。

收起
软件开发 · 2020-05-09
浏览1094

提问者

xuct
xuct005
数据仓库工程师中国太平
擅长领域: 数据库大数据分布式系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-05-09
  • 关注会员:2 人
  • 问题浏览:2102
  • 最近回答:2020-05-09
  • X社区推广