这个问题很抽象。不好回答，我的建议是，你不要这么干，因为效率太低了。如果，你这么干的话，就把etl的活也让分析人员给包了，目前，这样的工具很少。通常的做法是把数据从多个数据源抽取过来，不论数据在哪里都要抽取，包括爬虫（当然合理合法范围），然后集中在hdfs上，让分析人员进行分析。分...

hadoop 在处理大规模数据时是很高效的，处理小文件时，可以将小文件打包为大文件，例如使用 SequcenFile 文件格式，这样多个小文件就可以通过 SequcenFile 文件格式变为一个大文件，之前的每个小文件都会映射为 SequcenFile 文件的一条记录。...

交易型的国产分布式事务数据库产品整理如下：厂商名称产品名称存储引擎计算引擎可视化管理平台生态体系阿里云DRDSMySQL Sever +InnoDB存储引擎完全自主研发完全自主研发等同MySQL开源数据库生态蚂蚁OceanBase自研，类似MySQL的NDB存储引擎完全自主研发完全自主研发自建生态...

日志文件随着时间会是个很大的量，所以建议考虑统一的日志中心存储处理，可以用es等，备份到hdfs。配置文件在量上通常不是个问题，可以考虑配置中心统一管理，无需额外存储非结构化数据通常是大量的文件，可以采用传统nas或分布式对象存储，当然资金充裕可以采购好的存储，存储性能很重...