OGG数据抽取和解析，KAFKA数据的传输，HBASE数据存储。这是最简单的如果需要计算一些指标，可以用SPARK-STREAMING.  特别提醒：大数据的每个组件应用的场景不一样，使用时一定要注意自己的应用场景...

目前银行业很早已经认识到大数据的重要性，利用开源的技术组件来建立大数据平台整合行里的数据资源，从而进一步挖掘数据的内涵价值，支持银行业务。目前本人身处商业银行，所以我只能谈谈商业银行大数据平台推进和落地的大致情况。大数据平台在大中型商业银行已经落地开花，相应的...

银行在大数据平台建设中，对于技术路线的选择呈现的是大致类似的方式：主要是以开源技术为主，自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。银行的大数据平台包括存储、计算（批量和流式）、展现、挖掘以及权限管理等功能模块，关于每个模块的技术路线的选...

银行业建设大数据平台建设最终是为银行的各种业务服务的，所以收集银行的各种需求（业务需求、应用需求等）是最基础的一步。大数据应用系统的功能模块从本质上主要分为三种：批量计算、流式计算、实时查询。对于每种模块，大致的数据需求如下表所示：...

因为大数据平台是基于X86架构的PC服务器，所以客户在建设大数据平台的时候，软件和硬件是按照不同的采购方式。硬件一般会选择联想、浪潮和华为的X86服务器；软件一般会从业界著名的大数据产品和方案供应商里采购。目前在银行业中，大数据平台的供应商主要为华为、中兴、星环以及...

银行大数据平台项目建设中，涉及到新购或扩容改造的产品、资源主要分为软件和硬件。1） 硬件：主要是X86的服务器和万兆交换机2） 软件主要是使用大数据平台的应用的改造：a）JDK版本的升级b）和大数据平台组件模块的开发...

银行在进行大数据平台建设的时候，一般首先会从整体上进行规划设计，完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务（数据同构区、数据基础区、数...

大数据平台的工程实施步骤如下：1） 编写项目需求分析书，确定平台的架构2） 完成容量规划和确定各种配置，发起硬件采购3） 编写项目概要设计文档和详细设计文档，指导开发4） 测试环境安装，进行测试要注意以下几点：a）因为大数据的技术组件是开源的，版本更新的比较快，注意及时引...

银行大数据产品的选型一般会考虑三大因素：选什么样的产品、该产品的什么版本、行业的应用案例。1） 选什么样的产品根据具体的业务或者应用的需求，选择合适的技术组件。对银行而言，技术组件一般要选择Apache社区下的活跃度比较高的，这样才能保证该组件在未来比较长的时间内...

银行在建设大数据平台的过程中，不可避免地遇到各种技术难点问题。遇到难点问题时，项目组需协调各种资源解决这个问题。在使用kafka（0.8.2.1）的时候，遇到一个很诡异的问题，具体如下：应用调用kafka的API往kafka里发送数据，每隔一段时间后（大概发送百万笔报文后），发送端就会出现OOM的问...