在从未停止的对于竞争优势的探索中,许多组织倾向于掌握大量企业本身和外部的数据,来揭示企业未来的发展方向,预测统计数据和采集其他具有可行性的信息,以便帮助企业做出下一步行动的决策。这些数据常常与采集它们的工具、平台、分析系统一起被称为“大数据”(Big Data)。“大数据”业务已经得到大多数技术人员和企业决策者的认同。
虽然企业的决策者已经意识到“大数据”中蕴含的价值,但对于大多数企业来说,真正实现其中的价值还难以做到。这时候IT就派上了用场,它可以帮助决策者在储存的海量信息中挖掘出需要的信息,并且对这些信息进行分析,从而发现重要的趋势信息。换句话讲,IT已经成为“大数据”发挥作用的催化剂。
在服务领域,“大数据”的重要性和价值越发明显地得到证明。与美国海洋和大气局(NOAA)、美国宇航局(NASA)这些机构一样,一些制药企业和众多能源企业同样累积了大量的数据信息,现在这些企业想要将这些日常积累下来的数据转化为一种“大数据科技”,希望这些数据能够带来额外的价值。
美国海洋和大气局尝试利用大数据业务协助进行对气候、环境、天气的研究和商业性探索,美国宇航局利用大数据业务进行航天和其他领域的探索。制药企业和能源企业则借助大数据业务进行更多实实在在的研发,例如药品实验和地球物理分析。《纽约时报》将“大数据”作为一种工具,进行文本分析和网络开发。迪斯尼公司利用它对店面、主题公园和网络资产中的数据进行分析,研究消费习惯的相关性。
在如今的商业活动中,“大数据”扮演着另外一种角色:大企业越来越多地面临对大量结构数据和非结构数据进行维护的问题,这些数据可能来自资料库中员工对于交易信息的报告,也可能是供应商的日常供货信息——总之这些都是政府要求企业在日常运营中需要保留的数据。最近的一些法庭案例更使上述问题凸现出来,使企业不得不保留大量的文件、电子邮件信息和其他电子通讯记录,例如即时信息、IP电话记录等,这些都可以在他们面临诉讼时作为进行电子信息调查的依据。
也许累积大数据所面临的最大的挑战就是建立一个可以存储和得到所有实时和未来信息的数据库,并且让这些信息可以在线用于成本效率分析的平台。那就意味着这个平台应该是可升级的。这个平台应该涵盖计算机存储技术、语言查询技术、分析工具、内容分析工具和传输设备,因为IT中囊括了太多变化的、需要有效利用和维护的内容。
大数据业务有很多专有的和开放性的资源作为工具,通常情况下,这些资源可以通过启动一个程序获得,也可以通过与提供云技术的公司合作获得,例如亚马逊和谷歌——实际上,云技术不但能够帮助你解决大数据的延展问题,还能解决数据存储和计算能力的问题。不管怎么说,使用大数据业务不必由你亲自“扮演角色”。像IBM和EMC这样的供货商可以提供大数据项目所需的工具,尽管使用这些公司提供的业务成本可能很高,而且难以衡量。
Hadoop:大多数大数据业务的重点在开放资源领域,这个领域被称为Hadoop,是Apache软件基金会负责的一个项目,该项目包括谷歌为建立一项强化、联合和易于了解的数据平台而推出的技术。
从技术层面讲,Hadoop包括两项关键服务:基于分布式文件系统(HDFS)的可信赖的数据存储服务和建立在一种名为分布式计算系统的技术之上的高传输并行数据处理服务。这些服务旨在提供一个快速、可信的分析基础。在这个基础上,对结构化的和复杂的数据进行分析将成为现实。在许多案例中,企业将Hadoop与他们的IT系统一起使用,这使它们能够将新旧数据整合在一起,并将这些数据组合成新的强有力的资源。Hadoop使企业可以轻易地利用传统的分析方法对复杂的数据进行分析,这些数据包括企业自身的信息和一些问题。
Hadoop以一系列软件为基础,提供无共享服务。你可以根据需要在一组软件里增加或者取消Hadoop服务,任何软件供应商所提供的软件都支持硬件或系统问题的系统探测和补偿服务。换句话讲,Hadoop是一个“自愈”软件。无论系统怎样改变或者出现故障,它都能传输数据、完成大容量的系统运行,还能完成高效率的数据处理
虽然 Hadoop为数据的存储和并行运行提供了一个平台,但是其真正的价值还在于它的扩展功能、跨专业整合功能和对于传统技术功能的实现。Hadoop还提供一些子功能,这些功能可以使该软件功能性更强,增加软件平台的容量:
· Hadoop常规软件:一般用于支持其他Hadoop子项目。
· Chukwa: 数据收集系统,用于管理庞大的分支系统。
· HBase:可升级的、分布式数据库,支持大容量的结构数据存储。
· HDFS:分布式文件系统,该系统为应用程序数据提供高流量服务。
· Hive: 提供数据汇总和随机查询的数据库基础结构。
· MapReduce: 用于在计算集群下分布处理大数据的软件框架。
· Pig: 为实现并行计算而设置的高水平数据流语言和执行框架。
· ZooKeeper:为分布式应用提供的高性能内部协调服务。
收起