zhouchao
作者zhouchao6天前
系统架构师, 某农商银行

银行引入数据中台给IT技术人员带来的挑战和思考

字数 4592阅读 1321评论 1赞 4

随着金融科技的不断深入,云计算、人工智能等技术的不断发展,银行业的IT体系架构经历集约化到智能化,再演变到智慧  化的过程,各个银行纷纷提出了数字中台的概念。根据目前一些机构的共识,数字中台是将银行的共性需求进行抽象,并打造为平台化、组件化的系统能力, 以接口、组件等形式共享给各业务单元使用。使银行可以针对特定问题,快速灵活地调用资源构建解决方案,为业务的创 新和迭代赋能。简言之,数字中台是银行数字能力共享平台,是平台的平台。作为企业 IT 资源的综合指挥和调度平台, 它以统一的标准和流程规范,帮助银行实现业务互联互通、资源协调和信息共享。数字中台通常包括了业务中台和数据中台,像很多银行提出的用户中台、营销中台,理论上都应该属于数据中台的范畴。

一、数据中台的综述

数据中台从后台及业务中台将数据汇入,进行数据的共享融合、组织处理、建模分析、管理治理和服务应用,统一数据标 准口径,以API的方式提供服务,是综合性数据能力平台。数据中台为前台业务部门提供决策快速响应、精细化运营及应用支撑等,让数据业务化,避免“数据孤岛”的出现,提升业务效率,更好地驱动业务发展和创新。为中后台部门提供风险管理、经营分析等内部支撑,让管理模式由“经验化”变成“数据化”,更好的服务于整个银行的经营和管理。 数据中台包含数仓体系、数据服务集等,是一套数据运营机制,加速从数据到数据资产的价值转变,决策模式由“经验驱动”向“分析驱动”转变。

作为数据中台,首先要解决的是银行内部各系统间数据孤岛的问题,将不同系统中的数据进行全面汇集和管理,像过去建设的数据仓库、各种数据集市以及后面搭建的各种大数据平台,实现的就是数据的集中整合与管理,通过数据抽取、提炼、加工以及分析,形成银行的数据资产,服务于各类业务,解决了数据“汇管用”的问题。但往往在这过程中,不同的数据平台根据不同的项目和应用场景而搭建,解决的是数据集中的问题,做到了“智汇”而非“智慧”,由原来的多个数据烟囱变成几个数据池,离真正意义的数据中台还有相当大的差距,作为银行的技术人员,如何适应数据中台的变化。面临着业务挑战、技术挑战、组织架构挑战。

二、      业务挑战

随着数字经济时代的来临,银行业一方面享受到数字经济带来的经济增长的红利,获得源源不断的资本和市场机会,另外,随着同业竞争加剧,互联网金融的冲击,给传统银行业务带来了巨大的冲击,加之强监管对银行业务的影响,过去依靠利差的时代一去不返。有效利用数据,充分挖掘数据的价值为客户提供差异化的产品和服务,是数字经济时代下银行的有效利器,也是银行数据中台的重要产出。数据中台不能脱离业务而存在,不能像过去建数据仓库一样,仅仅是一个后台数据的管理机构,而是应当有明显的业务属性、有清晰的业务边界、有可控的投入产出。

银行的科技部门过去总给人的感觉是后台部门,从事的都是技术开发、系统运维的工作,对银行业务理解不深,或能讲出一些概念。但数据中台的实施,首要就是要使得科技部门由过去的后台支撑部门变为业务部门,我们的科技人员由过去的技术人员变成具有业务知识和能力的金融科技人才。通过整体规划智能化的数据业务,来推动业务的创新。中台是区别于平台的,具备业务属性、支撑多个前台业务的产品,其本质是公司业务能力的沉淀。作为数据中台的实施者所具备的业务属性”,更大程度上是“数据化、标准化、智能化”。银行的科技人员要转变过去建设系统、技术支撑的思维,而应该有全局的业务架构和业务视角,将银行的业务按照业务域-业务条线、业务功能-业务流程的结构,数据按照基础性数据和指标性数据的结构进行划分,根据各自银行进行业务域进行数据的分类(例如客户、(营销)活动、财务、风险、事件、机构、协议、产品和服务、渠道、资产等10大主题域),当所有的数据具备了主题域、语义、业务种类的定义,才能充分发挥出数据的价值。

 数据中台作为金融科技赋能银行业务的新型载体,就有别于过去传统it系统的职责边界。举个例子,过去我们建设一个系统,都会有一个业务主管部门或者牵头部门,有业务部门的管理员、经办,系统的业务边界几乎等同于业务部门的边界或者业务条线的边界。而数据中台在打破业务线条的边界的同时,又要界定好自己的职责边界。数据中台是为整个银行提供数据的提炼、加工和运用服务的,我们的科技人员要清晰的划分业务系统和数据中台之间的边界,大体上讲例如机构、客户等维度数据由数据中台统一提供管理和服务。而业务数据通常在业务系统落地保存并将具有数据共享价值的数据通过数据交换等方式提供给数据中台,由数据中台统一对外提供服务,科技人员要能真正理解业务数据的价值和其是否有必要进行数据交换。

过去科技部门作为成本中心,往往只考虑到成本,没有意识到科技尤其是数据能够带来价值,同时数据作为一种资产,无论是生产还是获取,都需要付出成本,而这种成本投入通过数据中台、业务中台的赋能,给银行带来了收益,这就是数据中台的价值所在。因此我们的科技人员在实施数据中台以及数据中台投入s使用的时候,要建立一套数据中台的成本投入机制,充分评估数据的投入产出,对提高银行的精细化经营管理能力以及采购外部数据等多方面,具有积极的作用和影响。

三、技术挑战

   数据中台的提出,有赖于技术的迅速成熟与发展,大数据、人工智能等新技术的涌现,给银行业务提供了技术支撑,也给技术人员的带来的不小的技术挑战,归纳起来包括数据治理能力、技术架构能力、数据处理能力、、数据标准能力以及业务连续性能力。

科技人员在数据中台的实施过程中,要具备数据治理的能力。数据治理,解决的是“业务越来越复杂而数据现状的脏乱差”带来的挑战。如何合理规划数据结构?如何规范定义数据?如何有效管理数据资产?如何安全分发使用数据?这都需要一套完善的数据治理体系,驱动银行数据化运营转型。完整的数据治理要包括目标、组织、制度、 工具和标准五个关键要素和数据的标准定义、数据模型的标准设计、数据的规范开发和测试、元数据管理、数据质量的保障、数据的安全管控以及数据合规使用等问题。      

数据中台除了其具备的业务属性外,更多的它是一个基础性的技术平台,作为全行的技术性技术平台,如何去设计数据中台的技术架构,是每个银行都面临的问题。不同的银行、不同的互联网机构对数据中台的架构理解是不一样的,这要根据各种的情况因地制宜进行统一规划和架构设计。按照一些大行和互联网金融机构(蚂蚁金服等为代表)的惯例。将大数据平台、现有的数据仓库、以及实时计算引擎、图计算引擎等作为统一的数据技术后台,支撑整个数据中台的业务,这些新、老技术的掌握、运用是我们的技术人员的面临的又一挑战。

由于“厚中台、薄前台”的架构,前台不易积累数据,有赖于中台提供服务,那么api方式替换掉原来的数据集成,也是实施数据中台过程的必然趋势。SQL是一种领域特定语言(DSL),虽然很强大但并不是很好的工程语言。由于它不能在内存中定义和操作复杂的数据结构,如果要做模块化的逻辑封装,模块的输入输出必须是数据库表,这就带来了I/O损耗,大量的模块化,必然带来导致I/O性能的显著下降。而这些模块存在的方式只是脚本,缺少治理工具,大量零散的模块如何管理也是一个难题。在实施中台数据架构中,如何最大限度的减少sql的使用,也是考虑模块化和性能需要取舍的重要问题。

数据中台在实施过程中,会涉及到应用系统的建设、组织架构的重构、运维体系的建设以及数据资源的运用等方方面面的内容,数据中台建设的规范化本质上就要落到标准化。建立数据中台的标准规范体系以及相关的技术标准,就成为数据中台实施与运用成败的支撑与关键所在。以及行业的先进经验,数据中台的标准体系应包含基础标准、技术标准、安全标准、应用与服务标准的内容。我们的技术人员应当具备以上的技术能力。

最后提到的业务连续性问题,这是银行业的技术从业人员都不可回避的一个问题。数据中台作为银行业业务系统重要的基础性平台,服务于整个前台系统,为行内外业务系统提供支撑,又因为数据中台的使用依赖于众多的底层数据后台技术架构,其业务连续选哪个面临着前所未有的挑战。借鉴互联网公司的架构。通过微服务架构、分布数据库、容量压测和评估、限流和降级、全链路压测平台等一系列的架构和手段,保障业务连续性显得尤为重要。

四、      组织架构挑战

随着银行业数字化转型战略的日渐深入,数据中台、业务中台等技术平台的实施,众多的银行纷纷提出了敏捷转型的理念,这是与数据中台等数字化战略相适应的组织架构变革,银行的科技人员也要主动积极拥抱组织架构变迁带来的挑战。

一是业务与科技融合,实现跨部门、自治型的团队网络,科技人员要确立自上而下体系化的沟通协作机制,确保组织快速决策和持续迭代。

二技术和业务紧密结合,采用双速IT及开发运维(DevOps)等新一代IT技术和治理模式,赋能业务转型。科技人员要主动拥抱这种变化,在组织架构、it流程上以及系统工具上适应这种变化。

三是传统it架构和敏捷it架构这种双模it架构长期并存的局面,给it组织架构的职能划分,it人员技能的培养带来了挑战,同时在组织架构上也会出现敏态和稳态组织的一些冲突和矛盾,协调和处理好两种组织形态和技术体系的关系,是推进好数据中台乃至整个数字中台展战略的重要前提。

五、      应对挑战的思考

1、         针对面临业务挑战,银行的科技人员要注重加强自己业务能力的学习,加强金融业务知识、市场营销技能、风险管理、企业管理能力的知识复合、交叉能力的培养。用跨界的思维、跨界的眼光和跨界的方法,培养自己的综合能力。积极参加一系列的培训,通过与同业、政府部门、互联网公司、运营商等沟通交流,拓展自己的视野。

2、         信息技术的发展日新月异,作为IT从业者,特别是金融科技从业者,应当注重新技术、新知识的学习。在满足日常工作前提下,银行应当为金融科技人员制定再学习的计划和培训体系,涵盖产品、技术、架构设计、运维等方方面面的知识,与互联网公司、金融同业开展技术交流和学习。。科技人员也要发挥自主学习的能动性,践行终身学习的理念。

3、         组织架构带来的变革,管理制度的变革,更多的是执行效率的提升,传统的组织架构下的,个人的工作状态是任务驱动,层层汇报,而敏捷组织架构下的人,更应关注快速响应和快速变动,把被动式的工作习惯转变为主动式的补位,提升执行力和工作效率。

六、      总结

数据中台依托的是银行内外部的需求驱动,自身创新挖掘以及根据业务场景进行驱动创新来赋能业务应用,这是一个闭环的过程,过程中不断积累的数据资产,更好的为银行的业务服务。作为银行的科技人员,面临业务、技术、组织架构的三重挑战,应对好这些挑战,能够实现自身价值的体现和推动银行业务发展的双赢。

 数据中台带给银行的变化是,由过去的传统资源驱动变为数据资源驱动,科技人员在这场变革中,会用广阔的天地,应当不断提升自己的创造力,帮助企业用数据思维激发企业沉淀,形成新的发展动力。基于数据中台的资产体系和服务体系,快速响应外部环境变换和内部业务的调整,搭建场景金融。不断将经验转化为数据资产的一部分,形成持续优化解决问题的能力。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

4

添加新评论1 条评论

#whui0535存储架构师, hds
4天前
zanzan赞赞赞
Ctrl+Enter 发表

关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
© 2020  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30