提起“大数据”就不得不提起有关数据的处理，虽然有人说过大数据在数据质量方面的要求不比传统数据的要求那么严格，当然这也是分场景的断言，但是无论何时数据处理在大数据的生态中始终处于不可缺少的地位，因为数据处理的时效性行，准确性直接影响数据的分析与挖掘，分析的最终结果...(more)

当前，很多券商开始尝试利用大数据技术来实现业务创新、提高企业竞争力，例应用场景如客户画像、精准营销、智能投顾、运营优化等等，加强与客户全生命周期的互动。提升业务系统运营效率是目前券商运用大数据技术的主要切入点，遇到主要问题是如何建立统一采集、存储、计算和可视...(more)

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系...(more)

家以前可能有个感觉，Power小型机官方总是谈性能。但现在似乎不是了。随着POWER8推出，Power开始注重协作，一个很大的改变是关于CAPI，标准化的协作可以让Power在不同的环境性能有不同的优势。Power不再只是一个硬件，而是一个解决方案。尤其是在私有云、混合云的构建和管理、大数...(more)

      张烈生（TIMOTHY CHEUNG),前IBM大中华区副总裁，曾任世界最大的管理软件公司SAP中国区总裁。在IBM和中国内地工作30年，先后执掌过IBM大中华区金融事业部、服务部、市场部和IBM香港等重要机构。Tim亲历了中国IT行业从1985年以来发展的全部过程，是中国第一...(more)

技术篇2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头，这个单词代表的是“核心”（即Core Hadoop项目）以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。现在Hadoop在一月发...(more)

关于Hive Metastore模式杂谈本文为胡旻整理，转载请注明Hive的元数据服务在关系型数据库中存储了Hive表、分区的元数据。并通过元数据服务API提供客户端访问这些信息。元数据的部署模式嵌入模式对于实验环境我们可以使用如下的模式来部署元数据这是默认的Hive元数据部署模...(more)

整理人：胡旻       版权所有，转载请注明今天把大数据相关技术搜集了下，整理如下，接下来这段时间就要围绕这些内容开展相应的深入学习和各位分享核心技术 Hadoop Distributed File System(HDFS) 许可证 Apache License, Vers...(more)

本文为胡旻整理编写，版权所有，转载请注明WebHCat简介WebHCat为HCatalog提供REST API服务。整体架构如下：使用WebHCat和其包含的安全模式，程序能够通过REST的API很安全的链接和操作HCatalog提供的服务。可提供以下操作：基于REST的API调用可以管理数据库、表、分区、列和表的属...(more)

本文为胡旻编写，转载请注明对于集群我们经常会启用公平调度或容量调度来满足多用户的需求，这个时候我们需要去设定相应的队列以及队列的优先级。这里以用到MR和TEZ引擎为例。我这里的队列如下：拥有marketing和operations两个队列分别占用30%和70%的能力总的来说设置如下：作业...(more)