实时数据仓库与历史数据仓库应该如何应对高维数据建模和处理?
现在，无论实时数据仓库还是历史数据仓库，数据的维数越来越高，用户分析
需求也越来越复杂，我们应该如何对高维实时数据和高维历史数据进行建模、存储和分析?
2同行回答
我觉得分几步来做:
1.数据全部收集到一个数据平台。不管是实时的还是历史的。
2.做好数据库的清洗和基础关联，和宽表的建立。
3.根据对数据的实时性要求进行分级处理。
4.成立每个业务分析团队在款表上做分析。
5.分析的数据再返回宽表，并形成数据模型，共以后或其他业务线使用。譬如标签体系，用户体系。
浏览2741
- 纬度多没关系，只要元数据一份并且已经做好，一个纬度就是写一个SQL而已。 建模不是纬度方面的事情。他更多的是对业务的理解和梳理。 分析效率更多的在于三个方面，1.底层数据的统一，不重复建设。2.清晰的业务目标，不乱提需求，控制需求的准确性。3.找个数据科学家，对业务的元数据建模，就像做好积木块。
- 从我们的实践来看，数据仓库建模，“维度很高”，是个难题，还是比较难于处理的，不知是否有比较好的实践经验或者推荐的内容材料。
- 海阳兄，说的很对，模型是业务的产物，维度是不同粒度的数据有不同的维度。相同粒度的数据不同的维度就是二个不同的SQL，不会很难。难的是对业务掌握的程度