银行业建设大数据平台建设最终是为银行的各种业务服务的，所以收集银行的各种需求（业务需求、应用需求等）是最基础的一步。大数据应用系统的功能模块从本质上主要分为三种：批量计算、流式计算、实时查询。对于每种模块，大致的数据需求如下表所示：...

1.项目背景在互联网和科技金融时代，证券行业企业制定并落地大数据项目恰逢其时。一方面发展大数据已是国家重点战略，在政府的资金与政策扶持下，大数据技术体系已经发展成熟；另一方面，在互联网行业的探索和推动下，大数据人才体系逐渐建立，形成了大数据发展的良好土壤。同时，证券行...

银行在进行大数据平台建设的时候，一般首先会从整体上进行规划设计，完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务（数据同构区、数据基础区、数...

银行大数据产品的选型一般会考虑三大因素：选什么样的产品、该产品的什么版本、行业的应用案例。1） 选什么样的产品根据具体的业务或者应用的需求，选择合适的技术组件。对银行而言，技术组件一般要选择Apache社区下的活跃度比较高的，这样才能保证该组件在未来比较长的时间内...

目前银行业很早已经认识到大数据的重要性，利用开源的技术组件来建立大数据平台整合行里的数据资源，从而进一步挖掘数据的内涵价值，支持银行业务。目前本人身处商业银行，所以我只能谈谈商业银行大数据平台推进和落地的大致情况。大数据平台在大中型商业银行已经落地开花，相应的...

大数据平台容器化混合部署，扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?针对你这个话题，我是这样的思考，你可以看看是否有解答：容器相比云化虚机，弹性能力是数量级的提升。大数据容器化后做混合部署，可以复用容器的弹性能力，实现大数据作业的serverless化，即无需为大...

CDR、ODR和RDR都是基于业务领域进行的逻辑层面的数据划分和再组织，而实际业务数据的产生也就是数据源是相同的，都是基于实际的业务系统，如HIS、LIS、PACS、HRP等。这三类数据中心的目标都是为了其相应领域的上层业务应用的需求，在对实际业务数据多元化采集加工基础上，进行的主...

8个小时做迁移肯定是不够的，所以这样的情况下只能做割接不能做迁移，性能也没有做测试，架构也没有做测试，像这种情况下架构肯定是要调整的，所以只能调整架构以后，业务测试通过以后，8个小时来做割接。算算你将近500tb的数据，8个小时，你通过网络来进行迁移，传输数据的时间都不够。...

结合我们行的情况，要想对数据进行分类分级，先要进行数据资产的梳理，一般厂商数据分类分级平台都有一个简单的资产梳理功能，是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况，根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...

在基础架构层面可以做如下几方面的措施：1、设备管理方面：存储、服务器、网络等设备要加强管理，包括用户密码以及准入、规范操作流程及风险操作管控等，可以通过堡垒机以及相关的制度规范强化该部分管理。2、网络管理方面：对网络逻辑进行管理，做到 “进不来” “拿不走” “看不...