rayshawn

数据质量，绝大多数都是数据源头问题，如果没有闭环式的反馈式数据质量管理，数据质量几乎永远得不到改善。仅仅依靠DW去解决数据质量问题，是CIO以及数据人员一厢情愿的幼稚想法。因此，需要有人员，流程，技术，以及相关的运营以确

回复 heraleign 采用什么样的技术做高频的data refresh啊？说来听听？

回复 jimmy 数据聚合，没有必要直接访问超大规模的表 2. 预先计算，常用OLAP Specification 然后才是各种MDC， MQT，Partition, index林林总总的东西

我更愿意称这种工程师叫运维工程师，他们其实不真负责ETL，主要负责维护运营。需要开发更多自动化的工具以及监控工具简化运营，这个说来话长了。

如果在系统繁忙阶段使用ETL直接抽取数据会造成原系统性能下降，这个或许是源系统无法接受的吧？可以考虑Change Data Capture，读取源系统的日志，然后同步过来。反对采用report工具直接查询的方式，会被人骂死的。