数据收集到数据可视化（技术交流）

对于数据的一般使用流程我将我的理解阐述如下
1.与数据进行交互
读写各种各样的文件格式，包括你现在存放数据的数据库
2.数据准备
对数据进行清洗、修整、整合、规范化、重塑、切片切块、变形等处理以便进行分析。
3.数据转换
对数据集做一些数学和统计运算以产生新的数据集合。
4.建模和计算
将数据跟统计模型、机器学习算法或其他计算工具联系起来。
5.数据结果展现
创建交互式的或静态的图片或文字摘要。


以上为个人观点。请参考！收起

回复 5# humidy


   大神说的比较中肯。事实也是这样。收起

@humidy 我可不可以理解为：数据收集->数据挖掘->数据可视化收起

可以上一款报表工具 比如cognos OBIEE 等等收起

已经存入数据库的数据可以直接接入像永洪的MPP数据集市，看数据量的大小选择是否需要设置分布是部署（PC服务器分布式集群），然后再展现端的操作界面进行一下简单的表结构关联，将有关系的表组成一个宽表，再在前端进行展现就可以了。
结构化数据不需要进行太繁重的清洗工作，只需要统一一下表的列目。也不用打cube，尽量多的保存细部数据，方便您可以随时调整需要的分析粒度，如果上层有分析需求的变化，在保存细部数据的分析方式将会是最便捷的，能够很好的解决数据分析变更，非常快的进行变更响应。收起

可以建立数据仓库了--根据主题分类，常用的建立数据集市，
使用报表工具加以展现收起

可视化展示 不就只能用工具咯。收起

数据仓库、ETL、BI收起

回复 5# humidy
我可不可以理解为：数据收集->数据挖掘->数据可视化收起