您好!对于数据仓库和大数据应用本人有一些心得和体会,希望对您有所帮助!首先从数据仓库的角度来谈,数据仓库绝大多数是对内的其他业务线进行数据分析手段的数据服务支撑,一般组成形式为内部的企业级数据整合,建模和支撑在技术上属于数据技术的OLAP形式较多,展现形式为Analytic V...
显示全部您好!对于数据仓库和大数据应用本人有一些心得和体会,希望对您有所帮助!
首先从数据仓库的角度来谈,数据仓库绝大多数是对内的其他业务线进行数据分析手段的数据服务支撑,一般组成形式为内部的企业级数据整合,建模和支撑在技术上属于数据技术的OLAP形式较多,展现形式为Analytic Visualizations(可视化分析)或BI等,此类应用为数据应用的最基础层面,但随时数据存储技术的发展和大数据概念的推行,逐渐在存储上应用到了Hadoop架构的分布式搭建,但这不能说明数据仓库就失去了本来的意义,大数据的含义不仅仅是在数据量级的区别,更包括数据种类的多样性结合,一般情况下公司在大数据层面的投入都是结合到对外数据产品服务上的(BAT类公司因为企业内部业务繁多,故除外,当然BAT也有数据产品对外服务),所以个人建议如果想从企业内数据仓库应用扩展到大数据层面,首先需要对目前社会和政策接受大数据的情况,以及大数据投入的产出比,因为会涉及到数据源采购的问题,业务单一的企业只能说是数据量的大,但不能说数据的全,就当下而论,例如目前国家推行征信就是一个很好利用大数据的应用场景(需要结合多种数据源,完善大数据的全),这个是回答您的一个问题。
您的第二个问题是数据仓库与大数据怎样结合,实际上就分析的角度上而谈,依旧是数据仓库才是分析技术的主体结构(星型模型),大数据的底层是分布式扁平结构,优势是数据仓库便于分析(粒度灵活,因为有数据集市),而hadoop架构的特点是数据存储扁平化,存储和查询速度快,但在聚合分析等算法和函数使用上有很大限制,所以结合方式为Hadoop进行存储-上层为DW为数据分析底层,对外的产品服务为结合多种数据源情况下的数据挖掘产品(数据仓库侧重分析,大数据侧重数据挖掘),因为大数据的投入是一大笔的资金,不涉及到投入产出比很难在公司推行下去。
您的第三个问题希望可以从网上找寻一些相关的技术文档,或可以参加相关的技术沙龙进行了解,个人建议学习HADOOP和大数据之前应该了解一下未来的行业应用场景和数据业务在中国的发展趋势以后才投入精力去深入学习。谢谢!
收起