如何进行大数据平台建设的系统方案设计?有哪些具体的设计内容?

参与5

1同行回答

haohaopkuhaohaopku  软件架构设计师 , 某银行
银行在进行大数据平台建设的时候,一般首先会从整体上进行规划设计,完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务(数据同构区、数据基础区、数...显示全部

银行在进行大数据平台建设的时候,一般首先会从整体上进行规划设计,完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。
逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务(数据同构区、数据基础区、数据实验区、数据接口区、明细查询区)、流式计算、深度学习/机器学习、ETL作业调度、接口服务、数据应用等模块。
应用架构主要是根据大数据自身具备的数据挖掘、数据分析、流式处理、海量存储等特点规划的大数据平台应该提供的能力,描述以这些能力为基础支持银行应用支撑层、产品服务层及管理分析层的应用。一般而言,银行大数据平台需具备:海量数据存储和分析能力、明细数据查询和检索能力、流式计算能力、数据挖掘分析能力。
数据架构主要描述了数据在大数据平台里的整个生命周期的过程,包括产生方式、编码、存储格式以及数据的流向。大数据平台上的 一般分为批量数据、流式数据和管理数据(作业调度的控制流)。
技术架构主要描述了大数据平台采用的技术组件。具体的技术组件在前面已经提过,这里省略。
物理架构主要描述了大数据平台生产环境的实际部署。考虑到大数据平台是数据是分布式存储的,东西流量远远大于南北流量,因此大数据的集群之间是万兆互联。对于技术组件比如HDFS、HBase等的控制模块,一定要保证高可用。对于大数据的元数据要及时备份。

收起
金融其它 · 2019-07-22
浏览1634

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-07-22
  • 关注会员:2 人
  • 问题浏览:2279
  • 最近回答:2019-07-22
  • X社区推广