银行大数据平台
银行大数据平台
该主题还没有描述
热点
来自主题:架构设计 · 2019-08-27
jamiee某股份制银行 擅长领域:实时数仓, 大数据, 数据采集
1 会员关注
一、银行大数据平台建设背景及目标我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好;二是虽然在信息化建设过程中建设了比较完成的BI应用,但随着业务不断发展,这些解决方案已不能完全满足业务对于数据分析的需求;三是大数据技术的快速发...(more)
浏览3098
来自主题:大数据 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
目前银行业很早已经认识到大数据的重要性,利用开源的技术组件来建立大数据平台整合行里的数据资源,从而进一步挖掘数据的内涵价值,支持银行业务。目前本人身处商业银行,所以我只能谈谈商业银行大数据平台推进和落地的大致情况。大数据平台在大中型商业银行已经落地开花,相应的...
浏览1940
回答1
来自主题:银行大数据平台 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在大数据平台建设中,对于技术路线的选择呈现的是大致类似的方式:主要是以开源技术为主,自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。 银行的大数据平台包括存储、计算(批量和流式)、展现、挖掘以及权限管理等功能模块,关于每个模块的技术路线的...
浏览1745
回答1
来自主题:需求分析 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行业建设大数据平台建设最终是为银行的各种业务服务的,所以收集银行的各种需求(业务需求、应用需求等)是最基础的一步。大数据应用系统的功能模块从本质上主要分为三种:批量计算、流式计算、实时查询。对于每种模块,大致的数据需求如下表所示:...
浏览1489
回答1
来自主题:厂商选型 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
因为大数据平台是基于X86架构的PC服务器,所以客户在建设大数据平台的时候,软件和硬件是按照不同的采购方式。硬件一般会选择联想、浪潮和华为的X86服务器;软件一般会从业界著名的大数据产品和方案供应商里采购。目前在银行业中,大数据平台的供应商主要为华为、中兴、星环以及...
浏览1593
回答1
来自主题:扩容改造 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行大数据平台项目建设中,涉及到新购或扩容改造的产品、资源主要分为软件和硬件。1) 硬件:主要是X86的服务器和万兆交换机2) 软件主要是使用大数据平台的应用的改造:a)JDK版本的升级b)和大数据平台组件模块的开发...
浏览810
回答1
来自主题:架构设计 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在进行大数据平台建设的时候,一般首先会从整体上进行规划设计,完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务(数据同构区、数据基础区、数...
浏览943
回答1
来自主题:银行大数据平台 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
大数据平台的工程实施步骤如下:1) 编写项目需求分析书,确定平台的架构2) 完成容量规划和确定各种配置,发起硬件采购3) 编写项目概要设计文档和详细设计文档,指导开发4) 测试环境安装,进行测试要注意以下几点:a)因为大数据的技术组件是开源的,版本更新的比较快,注意及时引入新的版...
浏览702
回答1
来自主题:产品选型 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行大数据产品的选型一般会考虑三大因素:选什么样的产品、该产品的什么版本、行业的应用案例。1) 选什么样的产品根据具体的业务或者应用的需求,选择合适的技术组件。对银行而言,技术组件一般要选择Apache社区下的活跃度比较高的,这样才能保证该组件在未来比较长的时间内具...
浏览1733
回答1
来自主题:大数据 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在建设大数据平台的过程中,不可避免地遇到各种技术难点问题。遇到难点问题时,项目组需协调各种资源解决这个问题。在使用kafka(0.8.2.1)的时候,遇到一个很诡异的问题,具体如下:应用调用kafka的API往kafka里发送数据,每隔一段时间后(大概发送百万笔报文后),发送端就会出现OOM的问...
浏览1927
回答1
  • 提问题