Hadoop架构本身已经有很好的架构设计，其扩展性是非常好的。我觉得关键是应用是否适合做成map和reduce这样的分布计算然后聚合阶段结果的模式。所以应用的map-reduce化是关键，毕竟有些应用是难以拆分的，或者计算的阶段结果对后续逻辑是有影响的，难以像搜索引擎类应用这么适合m...

题目应该是hive on spark 另外你这个异常可能是hive跟spark的版本不一致的原因，建议你看一下你的hive源码中的pom.xml里面依赖的spark是什么版本的

1、计算能力和存储能力不匹配，同一种机型的横向扩展，导致数据容量需求、IO需求、CPU需求难以同时匹配，会存在资源浪费；这种情况可以考虑采用软件定义存储如(IBM SDS)根据需求动态调整系统存储资源,避免存储资源浪费和不均衡,主机层面使用虚拟化软件来集中管理资源的分配和利...

通常而言，hadoop这样的集群用来跑大数据分析。这样的集群有两个特点，一个是数据可以从别处过来，另外一个是数据量很大。由于hadoop集群的数据不是OLTP类型做对外交易，因此没有做双活的必要性。另外，hadoop集群通常不用集中存储，因此存储层做双活，和hadoop就谈不上了。如果非要做...

对于金融行业来讲，非结构化数据的业务相对比结构化业务重要度低很多。搞双活的情况不太多。一般容灾方式就是个数据复制。

这类文档在社区里面特别多，你可以直接搜索。ubuntu14.04上安装openstack的手册权威http://www.talkwithtrend.com/Document/detail/tid/122877OpenStack完整安装手册(CentOS6.2)http://www.talkwithtrend.com/Document/detail/tid/138099centos 安装配置 hadoop 超详细过...

优点分布式的特性：-- 适合大数据处理： GB 、 TB 、甚至 PB 级及以上的数据-- 百万规模以上的文件数量 :10K+ 节点。-- 适合批处理：移动计算而非数据 (MR), 数据位置暴露给计算框架自身特性：-- HA 高可用：可构建在廉价机器上：-- 高可靠性 : 通过多副本提提高-- 高容错性：数据自动...

hbase貌似不能支持其他列的索引，我就知道按照rowkey去索引的

回复 1# heraleign     1.从这个数据量看，直接上传问题不大。2.只要是如何能够比较快速的处理完这部分数据，完全传到集群中。不在于参数，而在于数据收集到上传完成整个流程优化。3.flume有这个功能。...

此问题由来已久，hadoop一生具来的开放性获得了很多用户的青睐。但又是因为开放性没有了企业级软件的完善的功能。hadoop的安全管理就是其一个这样的特点，大家都知道hadoop源码中是没有权限管理这个模块的，也就是说我们进行用户管理时就会遇到易用性的瓶颈。解决方案案例京东...