查看其它 1 个回答windix的回答

windixwindix  商业智能工程师 , 蚂蚁金服
大天使之剑泊涯yinxin赞同了此回答

大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器,供应商的可选范围很广,参考配置如下。
| 用途 | 型号 | 处理器 |内存 | 硬盘 |RAID | 操作系统 |
| ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ |
|Hadoop Name Node | X3650 M5 | Intel Xeon E5-2600 v3 18C | 144G |14T | RAID 5 | Red Hat Enterprise Linux 6.5 |
|Hadoop Data Node | X3650 M5 | Intel Xeon E5-2600 v3 18C | 144G | 14
2T | NO RAID | Red Hat Enterprise Linux 6.5 |
|Spark Core | X3650 M5 |Intel Xeon E5-2620 v4 8C | 256G |41.2T | RAID 5 | Red Hat Enterprise Linux 6.8 |
|Spark Streaming |X3650 M5 | Intel Xeon E5-2620 v4 8C |256G |4
1.2T |RAID 5 | Red Hat Enterprise Linux 6.8 |
| Elasticsearch | X3650 M5 | Intel Xeon E5-2630 v3 8C | 128G | 41.2T | RAID 5 | Red Hat Enterprise Linux 6.8 |
|Redis | X3650 M5 |Intel Xeon E5-2620 v4 8C | 256G |4
960G | RAID 5 | Red Hat Enterprise Linux 6.8 |
| Kakfa | X3650 M5 | Intel Xeon E5-2620 v4 8C | 64G | 4960G | RAID 5 |Red Hat Enterprise Linux 6.8 |
| Olap服务器 |X3650 M5 | Intel Xeon E5-2630 v4 10C | 256G |4
1.2T |RAID 5 | Red Hat Enterprise Linux 6.8 |
|报表服务器 | X3650 M5 | Intel Xeon E5-2640 v4 16C | 128G | 4600G |RAID 5 | Red Hat Enterprise Linux 7 |
| ETL服务器 | X3650 M5 |Intel Xeon E5-2620 v2 16C | 256G | 4
960G |RAID 5 |Red Hat Enterprise Linux 6.8 |

大数据组件可选择开源发行版或第三方商用发行版。
(1)开源发行版以Hadoop系统为核心,包含HDFS、Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等,可以按需求自行安装。开源发行版的优点在于完全开源免费以及公开的文档和资料比较丰富。缺点在于:
·版本管理复杂。各种版本层出不穷,依赖关系不清,难以升级运维。
·集群部署、安装、配置复杂。大量的集群配置文件需要分发到每一个节点上,容易出错,效率低下。
·集群运维复杂。对集群的监控、运维依赖第三方的其他软件,难度较大。
(2)国内和国外厂商提供易于使用的第三方发行版甚至一体化解决方案。国外著名的大数据平台供应商包括Cloudera、Hortonorks等。国内知名供应商包括华为、星环等。主流第三方发行版对比如下。
9sqjz7uzg5v

9sqjz7uzg5v

shh8s6z3x5
shh8s6z3x5

z7q6wro5o4
z7q6wro5o4

 2019-06-19
浏览223

回答者

windix商业智能工程师, 蚂蚁金服

回答状态

  • 发布时间:2019-06-19
  • 关注会员:4 人
  • 回答浏览:223
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30