Hadoop（大数据）在未来企业中如何应用

回复 2# xuyanhui


    现在的大数据，到底有多少企业是真正的大数据，这个难道不是在炒作的么？非常感谢您的回复，最后一个说能最快响应业务需求，这个对我们来说也是非常重要的，那如何能做到呢？收起

回复 6# xuedengpan


     这部分在大数据中已经有很好的算法封装了你可以详细的去学习一下mahout的算法封装，直接可以运行在Hadoop的算法库，另外至于资料你可以查一下亚马逊和netflix的一些对外的推荐文档介绍。收起

回复 5# xuyanhui


    算法，数据清洗，每次迭代的数据行数都达到几千万条记录的计算量。最终能帮助我们的电商企业提供转化率达到10%以上的比例。这个过程就是一个大数据的使用案例。
不知道您是否有一些成功的文档案例能分享呢？非常感谢收起

炒作大数据概念是有的，也并非所有公司都重视数据，其核心还是在于公司对于技术方向的定位，重视自己的现有客户，才是一家互联网公司能长盛不衰的关键点，举个简单的例子，看看电商是怎么使用大数据的。
我有幸曾经组织研发了一套推荐平台，其核心思想是针对与电商，收集电商中各个页面的用户点击行为与用户在页面的停留时间，在Hadoop环境下使用其提供的算法来统计分析用户的偏好，来分析用户的历史行为预测用户可能对哪些商品感兴趣。这是个说起来很简单的业务场景，但是实现起来需要考虑的因素因子很多，算法，数据清洗，每次迭代的数据行数都达到几千万条记录的计算量。最终能帮助我们的电商企业提供转化率达到10%以上的比例。这个过程就是一个大数据的使用案例。
快速响应业务需求，依托于你的数据底层存储，只有你有所有数据的前提下你才能最快的响应业务线的各种需求。收起

不知道贵公司是如何做的这块？收起

这个问题有点意思，站在互联网行业的风口浪尖，都在谈PV 、UV、个性化推荐、转化率的话题，那么怎样在Hadoop环境下实现对用户的跟踪与分析是互联网公司发力的重点：
远有亚马逊的个性化推荐。近有Google analytics的智能分析，这些都是最好的案例，鼓励我们来超越。
1. 搭建Hadoop并形成专业的管理服务平台。这部分需要人手来专业搭建与计划。
2. Hadoop的优势在哪？从问题中可以很容易概括，HDFS文件存储的优势，无轮你是什么样的数据都可以再其中占据一席之地，有了数据你还担心你分析不出来结果吗？MR的编写，hive的数据抽象，以及HBase的KV实时查询服务，Spark的内存迭代计算等，都可以让你在各种业务需求下游刃有余。
3.作为研发人员，主要需要做到精通Hadoop平台各个组成部分的核心架构以及优势，并能最快的响应业务需求，
总结：在Hadoop发展到今天，数据是互联网公司的核心价值，怎么使用数据成为一家公司成功的标准。收起