一家单位要搭建省级大数据基础平台,需要哪些技术方面的准备及应用场景搭建(金融行业)?

应总部要求进行大数据基础平台建设探索,最终要建成全国各个分支机构间互联的数据共享和分析平台。
主流的技术平台hadoop平台的选择。
资金及关键技术
目前市场上有能力的集成厂商。

参与6

2同行回答

liu281190027liu281190027信息分析/架构师猪八戒网
地点在哪里?显示全部

地点在哪里?

收起
互联网服务 · 2019-01-14
浏览1779
匿名用户匿名用户
1、大数据平台的技术选型,现在可以选择的包括HDP和CDH,事实上这两家公司现在已经是一家公司了,都是基于Hadoop技术实现的,需要储备具有大数据技术开发经验的人员,涉及从数据的采集、预处理、集成、标准化、存储、计算、分析和可视化等全部过程2、金融行业应该会涉及到大量的流...显示全部

1、大数据平台的技术选型,现在可以选择的包括HDP和CDH,事实上这两家公司现在已经是一家公司了,都是基于Hadoop技术实现的,需要储备具有大数据技术开发经验的人员,涉及从数据的采集、预处理、集成、标准化、存储、计算、分析和可视化等全部过程
2、金融行业应该会涉及到大量的流水这样的所谓流式的数据,需要评估那些技术更适合,例如Spark、Storm或是Flink等先进的技术
3、需要储备大量的数据治理人员(数据的清洗、集成、标准化、治理等过程),因为这些基本上需要的都是人工为主,系统为辅的工作
4、大数据底层平台的选型问题和人员储备,大数据底层均是采用分布式架构,一般建议部署在虚拟化环境(VMware)中或是容器(Docke)之中,如果全部采用物理服务器部署,太烧钱了……
5、系统之间的集成和整合的问题,需要前期摸清楚大数据平台需要对接的各类业务系统的接口等问题,也就是如果构建数据的共享和实时交换的需求

收起
互联网服务 · 2019-01-14
浏览1885
彬彬 邀答

提问者

idodoyu
系统架构师ABC

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-01-11
  • 关注会员:3 人
  • 问题浏览:2546
  • 最近回答:2019-01-14
  • X社区推广