互联网的大数据如何架构的哪?

都说互联网行业的大数据做的非常成功,那请问他们的大数据是一种什么架构?是利用mpp数据库好,还是hadoop?mpp和hadoop如何选择那?

参与10

2同行回答

haichuan0227haichuan0227项目经理新浪云计算
互联网行业,大多是走hadoop/spark/storm/EK流。MPP和Hadoop,罗列如下几点,可供选型参考: MPPHadoop数据规模TB级PB级扩展能力较低,单集群规模一般在100-节点较高,单集群规模可达4k-5k节点复杂查询分析性能较高较低响应实时性较高较低数据类型结构化结构化+非结构化开发门槛低,基于SQ...显示全部

互联网行业,大多是走hadoop/spark/storm/EK流。

MPP和Hadoop,罗列如下几点,可供选型参考:

MPPHadoop
数据规模TB级PB级
扩展能力较低,单集群规模一般在100-节点较高,单集群规模可达4k-5k节点
复杂查询分析性能较高较低
响应实时性较高较低
数据类型结构化结构化+非结构化
开发门槛低,基于SQL较高,基于MR
采购成本高,商业低,开源

因此,Hadoop适用于海量数据(PB+级),节点规模大(百+级),高并发(百+级),且数据分析场景简单的需求。
MPP则相反。
另外如果是非结构化数据需求,MPP就别考虑了。

收起
互联网服务 · 2017-07-07
浏览1791
美国队长美国队长研发工程师Alibaba
这个互联网行业的平台架构网上很多,这个真不是一句两句能说的清楚的。至于mapp 跟hadoop哪个好,网上的文章也比较多,只是大多数mapp调优或者生态方面不如hadoop来的广一些显示全部

这个互联网行业的平台架构网上很多,这个真不是一句两句能说的清楚的。至于mapp 跟hadoop哪个好,网上的文章也比较多,只是大多数mapp调优或者生态方面不如hadoop来的广一些

收起
互联网服务 · 2017-07-07
浏览1702

提问者

wangzk0206
数据库管理员scrcu

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-07-06
  • 关注会员:4 人
  • 问题浏览:4433
  • 最近回答:2017-07-07
  • X社区推广