从云技术看今天浮躁的大数据

从云技术的发展回顾----

从云计算到大数据，这些大概念好像被炒的越发不可收拾，好像大家在你一口我一口往一个大气球里面吹气，马上就要把一个大气球吹大、吹到极限、要“爆炸”给这个世界看。

昨天晚上看某电视台时竟然在右下角打出了“大数据，你准备好了吗？”的专题节目预告。这个世界真的怎么了？

记得云计算应该是从2006年8月Google在搜索引擎大会出的概念，到现在已经过了7年的时间，仔细想想云计算经过了“梦”一般的路程才走到了今天，

一是萌芽期又称感知期，人们对新技术产品和概念开始感知，并且表现出兴趣；

二是过热期，人们一拥而上，纷纷采用这种新技术，讨论这种新技术。典型成功的案例往往会把人们的这种热情加上把催化剂；

三是低谷期，又称幻想破灭期。过度的预期，严峻的现实，往往会把人们心理的一把火浇灭；

四是复苏期，又称恢复期。人们开始反思问题，并从实际出发考虑技术的价值。相比之前冷静不少；

五是成熟期，又称高原期。该技术已经成为一种平常。从著云台2011 年的技术成熟度报告，我们可以看到云计算已经绕过了应用上的瓶颈，开始真正“落地”。

云计算如一阵飓风席卷整个IT 界，伴之而来的优势是非常明显的。

 

从我经历的云技术项目看----

现在也许我们已经真正感受到了云的力量和价值，至少现在大家都“务实”了很多。

对我自己对云技术的认识和经历可以从2010年我在华为参与负责的SmartCare NetView PS（网络可视化）讲起，此项目是MBB移动宽带E2E解决方案中的重点方案，为移动分组核心网用户提供网络可视化、质量分析、故障定位、经营分析等手段。

附：业务功能说明-----     

•  流量经营分析：通过对用户、终端、应用、网站和位置等一系列的统计分析，帮用户发现新的市场机会；
•   业务质量分析：包括业务、信令的时延、成功率分析，用户可以关注业务用户满意度；
• 故障定位分析：有信令查询、用户上网日志查询、实时流程跟踪；
• 安全审计功能：包含IP溯源、用户上网日志查询；
•  实时网络监测：监测对象有KPI、指定应用流量、指定用户流量。

项目周期：此项目参与人数将近200人，一期周期1多年时间；

主要技术：其中大量的通信数据从移动运营商的服务端通过多个探针同步实时采集，每天的数据量有近1TB（语音数据、网站应用、信令等），利用Hadoop基础云计算平台分布式机制，采集所得大量数据生成HDFS，通过MapReduce进行数据处理，最终形成可提供Cognos统计分析的各种图形、报表展示给用户。其中Hadoop云计算平台从刚开开始研究、演进到投入使用，直到优化等工作，团队解决了整个项目的大数据处理的技术瓶颈问题。

此系统被华为包装为产品后远销海外多个国家的移动运营商，获得的回报基本是国内一般公司几年的营业额。

 

今天华为在官网已经申明此类产品已经更新换代，把“NetView”（可视化）改名为“Analyst”（挖掘/分析），产品的定位从简单的可视化报表统计上升到了更高的阶段——深度挖掘分析，可以说华为的一步步成功不无道理的。

 

被大数据浮躁的时代----

我想，除了华为，国外的大公司Google、亚马逊、IBM等不光是在利用这些技术在大把大把的赚钱，同时是这些新技术发展的风向标，把脉着这些技术的发展。作为我们这些普通而又自认为特殊的IT企业，需要学习华为这种从来不谈“大数据”概念而赚着“大数据”的钱的老板气概，学习那些真正为这个浮躁时代添砖加瓦的脊梁，而不要做那些跟在别人屁股后面吆呼的看客！

 

或许我们静下浮躁的心来回看一下“云计算”曲折的五个阶段，从中学习一下少走弯路的方法，让这个时代变的更加真实，

也许我们的梦才能一步步实现，中国的梦才能最终实现。