银行行业在大数据平台建设中,如何进行技术路线的选择?

1回答

haohaopkuhaohaopku  软件架构设计师 , 某银行
yinxinlxk215313951赞同了此回答
银行在大数据平台建设中,对于技术路线的选择呈现的是大致类似的方式:主要是以开源技术为主,自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。 银行的大数据平台包括存储、计算(批量和流式)、展现、挖掘以及权限管理等功能模块,关于每个模块的技术路线的...显示全部

银行在大数据平台建设中,对于技术路线的选择呈现的是大致类似的方式:主要是以开源技术为主,自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。

银行的大数据平台包括存储、计算(批量和流式)、展现、挖掘以及权限管理等功能模块,关于每个模块的技术路线的选择,一般遵循如下原则:
• 业务需求驱动:业务需求明确,组件的技术特性可以满足业务要求
• 技术发展成熟:目前已发布的版本比较成熟稳定
• 开源社区发展好:技术组件的开源社区发展比较活跃,技术演进路线清晰

具体技术组件如下:
1) 在海量数据的存储上,选择以HDFS、Hive表、HBase表作为存储结构化和非结构化数据的介质。
2) 在批量处理功能上,选择以MR、Hive SQL、SparkSQL作为批量计算的框架。
3) 在流式处理功能上,选择以Storm、SparkStreaming、Flink作为流式计算的框架。
4) 在资源管理和调度上,选择以Yarn作为应用程序的资源管理和调度的模块。
5) 在权限管理上,选择以Ldap和Ranger作为权限管理和认证的主要凭证。
6) 在数据挖掘分析上,选择以Spark结合Mlib来实现数据的挖掘分析、机器学习。
7) 其他技术选择:
选择Kafka作为海量消息数据的缓冲队列。
选择多维分析引擎Kylin,实现超大规模数据的多维分析能力。

收起
 2019-07-22
浏览353

提问者

天色渐晚研发工程师, 某银行

问题状态

  • 发布时间:2019-07-22
  • 关注会员:2 人
  • 问题浏览:1637
  • 最近回答:2019-07-22
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30