目前来说互联网公司使用Spark，其本质是为了解决一些Hadoop生态圈中其他组件的一些痛点，比如：spark streaming  对应的StormSpark MLLib  对应的 mahoutSpark Core 对应的MR Spark SQL  对应的Hive各种应用场景中都有Spark的身影。主要看对应...

IOE通过标准sql语言改造，可全量迁移到spark中；一些电信运营商已经使用spark替代了经营分析系统。但不能直接迁移到stream中，stream是流式计算，需要以规则包括动态静态等进行实时计算。

spark 5节点，每个节点8G内存，处理100G左右的数据，跑sparkmllib,每次都内存溢出。建议还是提升内存，起步128G。磁盘能放几个ssd.网卡现在主机标配1000M 3-6个，可以考虑捆绑，不捆绑也无所谓，但是万兆个人感觉没意义，如果确实需要，直接上infiniband了。...

这句话从命题角度来说，是没有问题的。但是从系统角度来看，用SSD无非是在IOPS和latency上比起传统硬盘有很大的优势，但是你要考虑，1. 你的业务系统的瓶颈是不是在IO上，是不是因为IO慢导致了CPU wait时间过长。2. SSD是做部分数据的二次缓存，那什么样的数据适合呢？这个需要从应用...

这个有很多种了。增加内存只是从硬件提升的一个方面。大数据处理方案要从数据处理类型来考虑：1. TB/PB级别的非结构化数据，如果批处理，可以采用MR。实时处理，可以采用Spark。2. 混合数据，开发使用简单，可以采用NoSQL的方案。3. 结构化海量数据，已经有数据库使用经验的，可以采用MP...

分布式的应用适合使用X86平台，一是节约成本，二是分布式，坏掉几台也没事

事件池的处理速度是第一保障的，选择使用队列+流式处理的框架，比如kafka+storm来处理。事件统一放入kafka中，storm中定义处理事件的处理事件。这样的效果是不用担心是否能及时处理事件，如果处理有延迟，增加服务器数量即可。...

实时的销售品发展量，用户的实时位置信息，用户的实时DPI访问信息等。

这个问题没有标准答案，我是胡言乱语几句纯粹看热闹的心态：1、Hadoop有良好的生态圈，包含的东西是应有尽有，分布式文件系统有HDFS，内置分布式处理MapReduce其它还加上Tez、spark，Nosql有HBase和Cassandra，机器学习有mahout，上层有Hive、Pig等，良好的生态圈就意味着出了问题有人问，可...

这个问题是不区分电信还是互联网行业的，首先要在你的hadoop配置文件中配置了hdfs权限，如hdfs.permissions设置为true，其次hadoop中用户文件权限管理跟linux中用户权限管理类似可以通过具体的配置项设置用户组比如ABCDE然后每个部门下创建用户然后设置rwx权限保证每个用户只...