在证券行业中,大数据项目的供应商有哪些?

参与9

2同行回答

windixwindix联盟成员商业分析师某证券公司
大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器,供应商的可选范围很广,参考配置如下。用途型号处理器内存硬盘RAID操作系统Hadoop Name NodeX3650 M5Intel Xeon E5-2600 v3 18C144G14*TRAID 5Red Hat Enterprise Linux 6.5Hadoop Data NodeX3650 M5Intel Xe...显示全部

大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器,供应商的可选范围很广,参考配置如下。

用途型号处理器内存硬盘RAID操作系统
Hadoop Name NodeX3650 M5Intel Xeon E5-2600 v3 18C144G14*TRAID 5Red Hat Enterprise Linux 6.5
Hadoop Data NodeX3650 M5Intel Xeon E5-2600 v3 18C144G14*2TNO RAIDRed Hat Enterprise Linux 6.5
Spark CoreX3650 M5Intel Xeon E5-2620 v4 8C256G4*1.2TRAID 5Red Hat Enterprise Linux 6.8
Spark StreamingX3650 M5Intel Xeon E5-2620 v4 8C256G4*1.2TRAID 5Red Hat Enterprise Linux 6.8
ElasticsearchX3650 M5Intel Xeon E5-2630 v3 8C128G4*1.2TRAID 5Red Hat Enterprise Linux 6.8
RedisX3650 M5Intel Xeon E5-2620 v4 8C256G4*960GRAID 5Red Hat Enterprise Linux 6.8
KakfaX3650 M5Intel Xeon E5-2620 v4 8C64G4*960GRAID 5Red Hat Enterprise Linux 6.8
Olap服务器X3650 M5Intel Xeon E5-2630 v4 10C256G4*1.2TRAID 5Red Hat Enterprise Linux 6.8
报表服务器X3650 M5Intel Xeon E5-2640 v4 16C128G4*600GRAID 5Red Hat Enterprise Linux 7
ETL服务器X3650 M5Intel Xeon E5-2620 v2 16C256G4*960GRAID 5Red Hat Enterprise Linux 6.8

大数据组件可选择开源发行版或第三方商用发行版。
(1)开源发行版以Hadoop系统为核心,包含HDFS、Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等,可以按需求自行安装。开源发行版的优点在于完全开源免费以及公开的文档和资料比较丰富。缺点在于:
·版本管理复杂。各种版本层出不穷,依赖关系不清,难以升级运维。
·集群部署、安装、配置复杂。大量的集群配置文件需要分发到每一个节点上,容易出错,效率低下。
·集群运维复杂。对集群的监控、运维依赖第三方的其他软件,难度较大。
(2)国内和国外厂商提供易于使用的第三方发行版甚至一体化解决方案。国外著名的大数据平台供应商包括Cloudera、Hortonorks等。国内知名供应商包括华为、星环等。主流第三方发行版对比如下。
9sqjz7uzg5v

9sqjz7uzg5v

shh8s6z3x5
shh8s6z3x5

z7q6wro5o4
z7q6wro5o4

收起
互联网服务 · 2019-06-19
浏览2439
bryanbryan软件架构设计师金融研发
所有的大数据项目厂商都是基于开源的大数据生态系研发,主要考虑的因素1)产品是不是厂商战略重点,比如因特尔公司曾有大数据团队,但因不是其主业,最终砍掉了 CDH 这个产品线,这样对已经上线用户就面临后续无服务和需要迁移别的厂商的问题;2)厂商技术实力:有实力的厂商可以对其进行...显示全部

所有的大数据项目厂商都是基于开源的大数据生态系研发,主要考虑的因素
1)产品是不是厂商战略重点,比如因特尔公司曾有大数据团队,但因不是其主业,最终砍掉了 CDH 这个产品线,这样对已经上线用户就面临后续无服务和需要迁移别的厂商的问题;
2)厂商技术实力:有实力的厂商可以对其进行深度研发和 bug fix
3)是否与开源一直保持同步:如果自己单独运维一个分支后,后续与开源版本就会分道扬镳,有些功能就无法进行整合
4)同业案例参考:不同行业有不同的应用场景特点,需要参考同业的案例。

收起
银行 · 2019-06-27
浏览2175

相关问题

问题状态

  • 发布时间:2019-06-19
  • 关注会员:4 人
  • 问题浏览:3592
  • 最近回答:2019-06-27
  • X社区推广