Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括：容...

昨日夜里无事，又针对这一问题思考了下，个人愚见，欢迎各位拍砖！票据影像是交易中的重要凭证，针对票据影像的业务特点，对大规模的票据影像数据存储系统，我总结了下，总共大致是有这么四个需求：1、既要保证海量小文件的高速录入、查询，又可以提供大文件的性能保证；2、票据影像的数据量未...

银行在大数据平台建设中，对于技术路线的选择呈现的是大致类似的方式：主要是以开源技术为主，自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。银行的大数据平台包括存储、计算（批量和流式）、展现、挖掘以及权限管理等功能模块，关于每个模块的技术路线的选...

因为大数据平台是基于X86架构的PC服务器，所以客户在建设大数据平台的时候，软件和硬件是按照不同的采购方式。硬件一般会选择联想、浪潮和华为的X86服务器；软件一般会从业界著名的大数据产品和方案供应商里采购。目前在银行业中，大数据平台的供应商主要为华为、中兴、星环以及...

答：1）银行影像存储属于海量小文件存储的应用场景，对象存储再合适不过。与传统的NAS存储相比，分布式对象存储具备更好的弹性扩展能力，用户可以根据业务增长弹性扩容，同时性能可以随容量线性增长；此外，对象存储采用去中心化架构，无元数据瓶颈，扁平命名空间，无“目录树”瓶颈，可有效提升...

银行大数据平台项目建设中，涉及到新购或扩容改造的产品、资源主要分为软件和硬件。1） 硬件：主要是X86的服务器和万兆交换机2） 软件主要是使用大数据平台的应用的改造：a）JDK版本的升级b）和大数据平台组件模块的开发...

1.项目背景在互联网和科技金融时代，证券行业企业制定并落地大数据项目恰逢其时。一方面发展大数据已是国家重点战略，在政府的资金与政策扶持下，大数据技术体系已经发展成熟；另一方面，在互联网行业的探索和推动下，大数据人才体系逐渐建立，形成了大数据发展的良好土壤。同时，证券行...

大数据平台的工程实施步骤如下：1） 编写项目需求分析书，确定平台的架构2） 完成容量规划和确定各种配置，发起硬件采购3） 编写项目概要设计文档和详细设计文档，指导开发4） 测试环境安装，进行测试要注意以下几点：a）因为大数据的技术组件是开源的，版本更新的比较快，注意及时引...

大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器，供应商的可选范围很广，参考配置如下。用途型号处理器内存硬盘RAID操作系统Hadoop Name NodeX3650 M5Intel Xeon E5-2600 v3 18C144G14*TRAID 5Red Hat Enterprise Linux 6.5Hadoop Data NodeX3650 M5Intel Xe...

日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重...