Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括：容...

日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重...

在日志分析系统中实时性是一个难点问题，比如实时任务1分钟只能处理30秒采集的数据，那么产出的数据的延时会越来越长，不能代表当前时刻的业务状态，有可能导致业务方做出错误的运营决策。在互联网行业中，需要处理的数据是海量的，如何在数据量快速膨胀的情况下也能保持高吞吐量和...

因为大数据平台是基于X86架构的PC服务器，所以客户在建设大数据平台的时候，软件和硬件是按照不同的采购方式。硬件一般会选择联想、浪潮和华为的X86服务器；软件一般会从业界著名的大数据产品和方案供应商里采购。目前在银行业中，大数据平台的供应商主要为华为、中兴、星环以及...

答：1）银行影像存储属于海量小文件存储的应用场景，对象存储再合适不过。与传统的NAS存储相比，分布式对象存储具备更好的弹性扩展能力，用户可以根据业务增长弹性扩容，同时性能可以随容量线性增长；此外，对象存储采用去中心化架构，无元数据瓶颈，扁平命名空间，无“目录树”瓶颈，可有效提升...

昨日夜里无事，又针对这一问题思考了下，个人愚见，欢迎各位拍砖！票据影像是交易中的重要凭证，针对票据影像的业务特点，对大规模的票据影像数据存储系统，我总结了下，总共大致是有这么四个需求：1、既要保证海量小文件的高速录入、查询，又可以提供大文件的性能保证；2、票据影像的数据量未...

银行在大数据平台建设中，对于技术路线的选择呈现的是大致类似的方式：主要是以开源技术为主，自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。银行的大数据平台包括存储、计算（批量和流式）、展现、挖掘以及权限管理等功能模块，关于每个模块的技术路线的选...

大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器，供应商的可选范围很广，参考配置如下。用途型号处理器内存硬盘RAID操作系统Hadoop Name NodeX3650 M5Intel Xeon E5-2600 v3 18C144G14*TRAID 5Red Hat Enterprise Linux 6.5Hadoop Data NodeX3650 M5Intel Xe...

大数据平台的工程实施步骤如下：1） 编写项目需求分析书，确定平台的架构2） 完成容量规划和确定各种配置，发起硬件采购3） 编写项目概要设计文档和详细设计文档，指导开发4） 测试环境安装，进行测试要注意以下几点：a）因为大数据的技术组件是开源的，版本更新的比较快，注意及时引...

个人比较推荐kettle，主要kettle也支持集群。另外hadoop平台的mapreduce也可以作为ETL工具使用。