大数据处理技术如何和传统的精分数据处理相互结合？

参考如下架构图：

收起

使用Hadoop处理精分数据可以分三步走，整个系统分成 在线系统,准实时系统，批处理系统三个部分：
下面介绍批处理系统流程:
1.使用同步工具同步原有精分的原始数据到HDFS分布式存储中,加载到Hive中做成原始数据仓库。
2.使用Hive做SQL做数据清洗预处理，制作成提取用户关键数据做数据集市。
3.加载处理后数据到Hbase中提供查询使用，小的结果数据导入到Oracle,Mysql中提供快速查询。

收起

我理解目前大多数在线实时系统和近线或离线分析系统都还是分开部署的，所谓结合，也就是这些系统之间有接口来ETL等方式同步或交换数据。这是由于传统的实时系统内部的数据管理方式与Hadoop等分析系统数据管理的差别很大，数据格式完全不同所决定的。现在也有一些架构在试图融合OLTP和OLAP到一套统一的系统之中，方便了数据一致性管理，同时使实时在线进行复杂分析成为可能。典型的就是HANA，还有DB2 BLU。当然，这些融合都需要对传统应用逻辑的实现方法进行较大的更改，需要针对新的架构进行开发。收起

那你们在在线系统,准实时系统是如何进行的，有没有类似上面详细的流程呢？收起

用户画像 其实经分的话，现在挖掘的数据库都能做，不能做的在运维口子上的数据，跑hadoop，经分目前没听说移植到hadoop上的吧？收起