银行大数据平台项目建设中，涉及到新购或扩容改造的产品、资源主要分为软件和硬件。1） 硬件：主要是X86的服务器和万兆交换机2） 软件主要是使用大数据平台的应用的改造：a）JDK版本的升级b）和大数据平台组件模块的开发...

大数据平台的工程实施步骤如下：1） 编写项目需求分析书，确定平台的架构2） 完成容量规划和确定各种配置，发起硬件采购3） 编写项目概要设计文档和详细设计文档，指导开发4） 测试环境安装，进行测试要注意以下几点：a）因为大数据的技术组件是开源的，版本更新的比较快，注意及时引...

银行大数据产品的选型一般会考虑三大因素：选什么样的产品、该产品的什么版本、行业的应用案例。1） 选什么样的产品根据具体的业务或者应用的需求，选择合适的技术组件。对银行而言，技术组件一般要选择Apache社区下的活跃度比较高的，这样才能保证该组件在未来比较长的时间内...

银行在建设大数据平台的过程中，不可避免地遇到各种技术难点问题。遇到难点问题时，项目组需协调各种资源解决这个问题。在使用kafka（0.8.2.1）的时候，遇到一个很诡异的问题，具体如下：应用调用kafka的API往kafka里发送数据，每隔一段时间后（大概发送百万笔报文后），发送端就会出现OOM的问...