lxue
作者lxue2020-02-20 17:48
数据库管理员, 某互联网公司

证券信息系统RPA流程自动化的研究与探索

字数 9686阅读 8236评论 0赞 2

摘要

随着系统架构的复杂度不断增加,不同系统间依赖关系越来越多,知识分散和专业化分工高,流程步骤多且难以优化,加大了出错概率。运维人员很难通过人工方式全面准确地掌握IT基础设施的整体环境视图,影响了关键时刻问题的解决效率,隐藏了巨大的金融运营风险。面对上述信息系统发展所带来的诸多问题,很多企业尝试进行系统集成,但架构复杂、难度巨大、成本高企、周期慢长等原因使得系统改造举步维艰,收效甚微。而由金融行业最先尝试的RPA自动化技术则另辟蹊径,有效地避免了这些缺陷,逐步成为企业优化流程的首选工具。本文首先介绍了RPA自动化技术的优势、现状与发展、建设框架,然后详述了东吴证券流程自动化实践。

1. 背景

在人工智能、云计算、大数据等新兴技术和互联网理念赋能之下,金融科技发展在带来前所未有的历史机遇的同时也使得各行业的工作流程与操作变得越来越复杂。为了应对劳动力成本上升和技术资源不足的问题,金融企业在流程管理和信息化投入了大量资源。然而,传统企业信息系统的实现往往仍需大量的人力干预和变更管理。如何通过有效的人机管理成为金融行业关注的重点。
国务院在《新一代人工智能发展规范》中强调建设智能金融,积极开展智能金融产品和服务的创新,鼓励金融新业态的发展。然而作为国家经济血脉的金融证券行业,金融科技并不应该违背金融传统的宗旨和安全原则。因此金融企业所面临的现状是沉淀打磨已久的传统运营运维流程短时间内不会改变,但新业务新系统却不断增加。新旧并存的现实大大增加了金融企业运营工作的强度和难度。随着系统架构的复杂度不断增加,不同系统间依赖关系越来越多,知识分散和专业化分工高,流程步骤多且难以优化,加大了出错概率。运维人员很难通过人工方式全面准确地掌握IT基础设施的整体环境视图,在关键时刻影响问题的解决效率,隐藏了巨大的金融运营风险。
面对上述信息系统发展所带来的诸多问题,很多企业尝试进行系统集成,但架构复杂、难度巨大、成本高企、周期慢长等原因使得系统改造举步维艰,收效甚微,而由金融行业最先尝试的自动化技术则另辟蹊径,有效地避免了这些缺陷,逐步成为企业优化流程的首选工具。

2. 自动化技术兴起

RPA(Robotic Process Automation)是一种新兴的信息自动化方法,它使用基于软件的机器人来执行原本需要人工处理的任务。这些软件机器人在不改变现有的信息资源的基础上,通过模仿人类行为,自动化地执行跨多个业务应用程序的重复任务,从而提高业务效率及数据安全性。
根据Institute for Robotic Process Automation & Artificial Intelligence[1] 提出的定义,RPA是一种使用配置自动化机器人的信息技术,通过使用计算机捕获和解析处理事务、管理数据和与其他软件通信的应用程序。

2.1 RPA的特征优势

经过多年RPA技术的发展以及自动化实施过程的实践,使用RPA的最佳场景包含如下三个关键特征,如图1所示:
(1) 基于信息界面软件以及相关数据的工作:RPA是非侵入式信息自动化技术,要求操作对象为结构化或非结构化信息系统界面。
(2) 基于规则或模板重复的操作性工作:相关工作能够基于相对稳定的规则,按照规则需要反复执行。
(3) 事务跨系统交互:相关工作往往需要多套系统协作完成,单一系统的自动化往往通过系统接口就能完成。


企业信息化发展至今,已更迭了数代技术变革,系统的使用、运维面临的诸多问题,这恰恰是RPA所能发挥作用的最佳场景。越来越多的企业走上了流程自动化实践的道路,使得RPA所能体现的优势日益凸显:
(1) 管理优化,RPA的实施是对企业执行工作数据、日志、管理配置信息的收集和管理的过程,可以通过RPA对企业流程进一步的进行分析以改进,使公司能够跟踪差距并部署措施以允许进一步优化。
(2) 合规性,在强监管背景下提高法规遵从性对于金融行业来说尤其重要,自动化的RPA流程能够跟踪每个步骤并系统地记录,有助于公司更符合行业监管和审计法规。
(3) 提高工作效率,RPA机器人实现7*24小时工作,全天候响应业务需求,并且可以在更短的时间内执行更多的工作,从而在高峰处理期间控制资源需求。
(4) 提高员工生产力,RPA处理重复的、乏味的工作实现劳动力解放,员工可以将时间投入到复杂的任务中,为现有的流程增加价值,这包括个人互动、问题解决和决策过程。这一切都增加了员工的生产力,并在更广泛的范围内为企业带来了好处。
(5) 降低错误率和交付风险,RPA作为稳定运行的信息自动化处理,在正确稳定的执行后能够消除人工操作风险与处理错误,可以有预期的实现既定的输出。
(6) 提升客户满意度,提高RPA自动化可以提高流程的效率和无错误性使员工有更多的时间与客户直接互动,增强他们的经验提高客户满意度,建立与公司的关系。
(7) 降低企业成本,RPA消除了传统容易劳动力的需求,减少了多余员工成本的同时显著降低培训成本与跨系统沟通成本。
(8) 非侵入式部署,RPA能在现有系统的基础上进行非侵入式部署,具备系统稳定性高、风险极低、开发效率高、部署周期短等特点。

2.2 RPA应用现状

结合RPA的最佳场景的特征总结,其可以应用的通用业务领域包括:IT基础支持,供应链管理,人力资源管理,财务与核算,销售与市场管理,运营与合规管理,如下图2所示:

按行业垂直领域划分,市场调研报告显示,以银行和保险为代表的金融行业的自动化流程市场份额最高,合计占到了市场总量的一半以上。接下来的是政府和公共服务业、制造业、电信业、零售业和交通物流行业。从全球市场来看,结果是类似的,大规模采用RPA机器人的行业同样是金融行业。随着RPA在更多行业市场的逐步推广应用,整个市场的蛋糕将以近61%的增长率被逐步做大,到时候预计在其他行业市场份额也将逐步上升。
根据德勤 2017 年的调研显示,企业们认为 RPA 替代 20% 的全职人力、平均一年左右的回报周期十分有吸引力。在此背景下,到 2020 年预计将有 72% 的企业实施 RPA,这意味着 RPA 将成为接近全球性的应用。
目前市场存在三种RPA产品形态:第一种是企业定制化的独立RPA软件,打开电脑点击即可使用;第二种是应用于财会、金融等行业场景的平台化RPA产品,客户端包括图形化设计器、执行环境(机器人),云端控制台则是基础的AI服务和结算系统;第三种则是支持开发者二次开发的RPA平台,提供第二种所有功能的同时还提供对应的开发接口,以便定制化,目前处于国际领先地位的公司产品有UiPath、Blue Prism、Automation Anywhere等。

2.3 RPA到IPA发展

随着AI人工智能技术的不断发展,与之融合的RPA技术形态也在快速演变。根据智能化程度的不同,流程自动化主要分为三个阶段[1],如下图3所示:

第一层级:基本流程自动化RPA,重点是自动化依赖于结构化数据的任务,基础RPA自动化的实施和管理的应用范围越来越广。
第二层级:智能过程自动化,支持非结构化数据作为输入,可以从经验中学习并应用知识来处理不同的需求,能够理解客户的查询并执行之前需要人工干预的任务。
第三层级:智能认知平台,也就是IPA(Intelligent Process Automation)。结合基础流程重设计、机器人流程自动化、以及机器学习等的新技术实现机器自主认知和智能的任务处理。

随着RPA智能化水平的逐步提高,随之带来的效率提升也是非常显著。从基于宏使用、抓屏的基本流程自动化到AI认知时代的IPA,成本节约程度可以从10%提高到60%以上。而作为流程自动化发展进程中最先进技术形态的IPA应至少具备以下五种核心技术:
(1) 机器人流程自动化(RPA):作为RPA技术的演进形态,IPA应具备早期RPA的所有技术特征及理念。
(2) 智能工作流(smart workflow):一种流程管理的软件工具,它集成了由人和机器团队执行的工作,允许用户实时启动和跟踪端到端流程的状态;该软件将管理不同组之间的切换,包括机器人和人类用户之间的切换,并提供瓶颈阶段的统计数据。
(3) 机器学习/高级分析:一种通过“监督”或者“无监督”学习来识别结构化数据中模式的算法。监督算法在根据新输入做出预测之前,通过已有的结构化数据集的输入和输出进行学习。无监督算法观察结构化的数据,直接识别出模式。
(4) 自然语言生成(NLG, natural-language generation):一种在人类和系统之间创建无缝交互的引擎,它遵循规则将从数据中观察到的信息转换成文字。广播公司使用自然语言生成来自动地快速地撰写关于比赛的文章。结构化的性能数据可以通过管道传输到自然语言引擎中,并自动编写成内部和外部的管理报告。金融机构已经使用NLG来复制其每周的管理报告。
(5) 认知智能体(cognitive agents):一种结合了机器学习和自然语言生成的技术,它可以作为一个完全虚拟的劳动力,并有能力完成工作,交流,从数据集中学习,甚至基于“情感检测”做出判断等任务。认知智能体可以通过电话或者交谈来帮助员工和客户,例如在员工服务中心。一个使用认知技术的英国汽车保险公司的转化率提高了22%,验证错误率降低了40%,整体投资回报率为330% [4] 。
因此,IPA作为RPA发展的最高阶技术实现,可以让流程自动化更具智能化,通过学习、总结、推理,提前预判新的应用场景、组织流程自动运行。在未来,如果IPA接管了日常经营管理工作,员工就可以从冗余操作性工作中解放出来,专注于思考如何实现业务目标和服务于客户。

3. 证券自动化流程建设框架

证券信息系统业务连续性要求高、数量庞大、框架参差不齐、复杂程度高,因此证券自动化流程建设往往需要综合考虑系统现存的问题与解决成本。采用RPA方式的非侵入性改造可以使得工作性能很大的提升,如下表所示。

结合证券行业的实际情况,设计的自动化流程实现包括三个阶段:

  1. 服务化:分析流程处理各信息系统之间对接环节,实现系统之间服务共享,能够从服务于数据角度最直接实现信息流程自动化,但要求系统接口符合规范性以及改造成本比较大。
  2. RPA自动化:对于无法实现服务改造的系统或改造成本过大的系统,证券公司可以考虑通过运营机自动执行重复性、规律性或跨系统的手工操作,实现在最小改造的代价下提升运营效率并降低风险。
  3. IPA智能化:目标实现将智能机器转化为虚拟劳动力,充分使用机器学习与智能分析,将人工干预的比重降到最低,实现真正智能化的运营模式。这也是证券自动化流程建设框架的愿景。
    为了实现上述三个阶段与目标,建设流程自动化框架的目标系统需要考虑的RPA本身的技术特性:操作重复性高且频率频繁;有特定规则,不需要员工进行复杂的判断;流程标准化程度高,特殊情况较少;流程前期处理以结构化数据为主,并且可以进行电子化传输;往往需要在两个以上系统之间进行交互。因此如下图4中的“甜区”流程往往能够更有效地实现RPA流程自动化。

    结合证券信息系统的实际情况以及RPA建设目标与现状,提出如下证券企业级的智能流程自动化框架。该框架从下往上划分了四个层次:基础设施层、基础服务层、自动化服务层及应用场景层。
    (1) 基础设施层(IaaS):包括软硬件基本技术实现,涉及到网络、服务器、数据存储、信息安全、混合云等基础技术,用来支撑上层服务建设。
    (2) 基础服务层(PaaS):集合了多种证券信息系统操控能力,以平台服务的形式实现UI界面操作、多源数据获取、业务数据处理、机器学习模型运行、报表文件生成等自动化流程所需的基础服务能力。支持快速扩展定制,高度灵活复用。
    (3) 自动化服务层(RPA-aaS):以自动化服务的形式实现了流程机器人,每个机器人能够按照某一通用流程,自动固定执行一系列相关动作,机器人基于预先设定的编排脚本,受一定条件触发,由平台进行调度。机器人解决的是单个通用流程,涵盖了流程中的各个步骤,而各类业务可以按需配置相应的服务来满足实际需要。
    (4) 应用场景层:以业务场景为实现的基础需求,通过多个自动化服务之间的协同工作,建立关联应用之间的桥梁,实现虚拟员工的岗位任务。该层以时间、消息、事件等多方面条件驱动场景流程运转。例如在某异常应急演练中,监控机器人捕获到异常状态后,经过事件消息流转,触发应急流程机器人。

    如上图5中,为了解决以交易柜台、清算系统在内的后台系统与CRM,风控系统等管理系统以及各类外部交互系统的运行维护以及业务运营,需要根据业务场景结合AutoIT,Python等自研开发和第三方工具在内的技术组件建立RPA实现。通过底层基础设施与服务,建立各技术实现的自动化机器人服务,包含:安全自动化,流程自动化,报表机器人等基础服务,从而应用于不限于IT运维、自动化测试、运营机器人在内的应用场景。
    在具体应用设计过程中 [5] 提出的自动化运营通过流程自动化RPA-aaS自动化服务实现了结算机器人、清算机器人、核算机器人以及数据管理机器人应用场景,如下表所示:

    自动化流程框架支持交易、清算、财务、账户等各类券商系统的流程自动化,支撑IT基础、业务运营、财务核算、客户服务、资金交收、风控合规等各类业务开展,全面保障了证券公司各类信息系统安全、有序、稳定、高效运行,有效提高了证券公司运营工作效率。
    为了保障流程自动化正常运行,智能流程自动化框架还具备自动化服务注册发布、运行调度、异常管理、监控审计等功能。鉴于金融行业的特殊性,东吴证券尤其在RPA监控审计方面做了很多工作,包括结合区块链技术在系统层面建立了不可篡改的RPA可信日志,全面记录平台机器人作业行为,并对平台用户行为进行实时监控,杜绝机器人异常工作或被恶意操纵,保证平台运行的稳定性。

4. 东吴证券流程自动化实施

东吴证券联合东吴金科在流程自动化实施前期做了大量的科研探索与技术实践,对RPA的技术理念进行了深入的理解和扩展,相继完成了RPA智能运营机器人、智能运营+运维助力券商业务发展[5]、区块链驱动金融信息系统的可信安全[3]课题项目的研究,为自动化实施奠定了理论和科研基础。
结合证券信息系统建设以及流程自动化工作探索的实际情况,东吴证券分阶段、分业务进行自动化流程的实施与推广。

4.1实施流程


东吴证券RPA前期实施流程分为流程识别、RPA方案建设与迭代、全面自动化以及愿景实现IPA等阶段,如图6所示:
第一步,识别可优化流程,首先判断相关流程是否具备接口自动化改造的可能,其次以最小化改造为目标,根据第二章提出的基于信息界面,重复操作,跨系统三个RPA特点分析现有工作事务步骤,最终通过前期分析选定示范性流程改造并初步评估相关效率。该阶段为RPA实施最为重要的前提,需要从日常冗余的工作中将流程梳理并判断可行的流程自动化机器人参与环节。如下图7所示为东吴证券股转做市系统清算的流程梳理与RPA自动化分析,原先梳理后的业务流程共31步,可通过RPA自动化执行的25步,剩余6步需要人为判断和干预,该流程自动化能够为此工作节约75%以上的时间。

该阶段的一次性梳理成本往往能够节约50%以上的运营成本,如图8所示为东吴证券运营中心全流程 [6] ,第一版运营全流程包含经纪运营、机构运营、数据支撑、托管外包运营团队在内的经纪、资管、债投、资金运营、机构、信用业务共梳理202个运营流程,其中80%以上流程识别为可进行自动化改造流程,相关工作也在逐步开展中。

第二步,RPA基础方案建设,按照第三章提出的整体建设方案,通过敏捷开发投入与外部技术的引用,初步进行方案的技术可信性验证。自动化实施技术与功能实现如下图9所示。功能包含了第一步流程识别中所应用的可进行系统接口自动化改造的服务共享平台、一体化运维平台、数据抓取与分析等自研系统,技术、运营相关的流程自动化脚本、测试自动化脚本的可视化发布以及AI智能运维数据分析与预警等三部分。

第三步,示范流程自动化上线,对进行改造的流程进行自动化方案的设计,配置调试,测试与上线,并完善第二步中的技术组件与方案。
第四步,全面流程自动化建设,需要IT部门与公司各业务部门协同完成信息流程的自动化流程分析改造与全面上线,迭代工作项目阶段与支持框架下图10所示。

4.2东吴流程自动化实施情况

结合上述实施流程与开发情况,东吴证券流程自动化实施情况说明包含接口自动化(东吴证券服务共享)、信息运维自动化(一体化运维平台)、运营自动化(RPA平台)、测试自动化(自动化回归测试平台)以及IPA技术探索(东吴态势感知平台)几个方面进行介绍。

4.2.1 接口自动化


为了兼顾证券系统的执行效率和跨系统自动化对接需求,东吴证券在流程自动化框架中的基础服务层实现了接口自动化服务,并以此建设了东吴证券服务共享中心,该中心集结了接口自动化机器人,用于对接各类业务系统。
东吴证券服务共享中心从2018年初上线至今,接口自动化已经对接十多套业务运营管理系统,实现了消息中心、业务流程中心、项目管理中心、组织管理中心四类自动化对接功能实现。日均处理接口请求10万笔,平均处理速度100ms以内。

4.2.2运维自动化

东吴证券运维自动化平台包含一体化运维平台、无纸化移动端展示以及通知中心构成,在实现基础软硬件监控的基础上,引入了界面抓取分析、自动化灾备切换、AI运维大数据分析等自动化全自主开发模块。目前已经实现了东吴证券主数据中心、灾备中心以及托管机房在内的几千台服务器与虚拟机全部统一管控,如下图所示为自动化设备主备切换场景。在基础监控硬件出现短期不可逆的心跳丢失的场景下,系统自动判定通知运维人员确认后全自动化完成跨设备的自动化执行与结果判断。

4.2.3 运营自动化

日常运营是自动化技术运用的重要场景,东吴证券通过融入诸多前沿技术与理念,紧密结合现实应用需求,建设了流程自动化RPA平台,如今已在数十个应用场景中实施了RPA流程自动化,涉及11类业务系统,160多个自动化作业,如图13所示。

东吴证券已经实施完成的RPA运营自动化涵盖包括了:自动开闭市、开市期间系统操作、系统监控、定期巡检、报表报送、业务清算等流程。RPA在这些日常运营运维工作的参与,减少了人员日常工作量达60%以上,在提高效率的同时,更重要地是降低了运营过程中的出错概率,全面提高运营运维质量。
RPA运营自动化通过AutoIT以及Sikulix技术实现,通过流程自动化脚本编写实现下图14所示的流程自动化操作,目前大大降低了人工操作量、有效降低了操作风险。

4.2.4 测试自动化

测试自动化作为东吴证券实施比较早的自动化项目,目前已经建设完成六套自动化测试系统,分别为PC端网上交易不同版本两套、移动端交易不同版本两套,核心柜台回归测试一套以及新一代交易系统自动化回归测试一套。
自动化测试案例包含两个类别,业务级案例和要素级案例。业务级关注的是交易规则,比如证券类别、委托整手数、客户账户权限等。要素级主要针对页面元素的检查、边界值的影响,比如界面上菜单的个数和位置、委托数量非法、页面的跳转等功能,网上交易(含移动端)测试用例上万个,柜台交易测试用例近五千个,且在不断完善和扩充之中。

以网上交易自动化测试为例,业务级关注的是交易规则,比如证券类别、委托整手数、客户账户权限等。要素级主要针对页面元素的检查、边界值的影响,比如界面上菜单的个数和位置、委托数量非法、页面的跳转等功能。测试自动化平台通过RPA脚本编写以及执行为东吴证券在回归测试上节约大量人力成本,如表4所示。

###4.2.5 IPA技术探索

东吴证券在利用现有成熟RPA技术服务流程自动化建设的同时,也不断向智能化IPA方向进行探索。目前搭建的人工智能自动化分析框架如图16,通过采用行业最佳实践知识,建立反向传递神经网络(Back Propagation Neural Network)和决策树、随机森林等机器学习算法进行结合,完成监督学习的最佳实践的金融信息基础系统的运维行为建模,能高效地转换行业已有经验,快速提升和训练出适合自己业务系统的运维智能模型,帮助金融基础信息系统在自动化认知环节不断优化提升。同时,该框架还采用深度学习和迁移学习相结合的方式,对目前具有噪音的海量金融信息系统运营数据进行计算机的非监督学习分析,挖掘在已有行业经验之外的深度高质量信息与策略。相关AI+RPA实现的智能流程与自动化在引文 [7] 中有深入的算法介绍,目前东吴在这方面的工作仍处于探索和验证阶段。如图17所示为以此框架为基础所研发的东吴态势感知平台人工智能自动化流程验证模块。

流程自动化给东吴带来的价值:一是可以帮助快速提升券商流程质量,提高员工生产力,在较低的集成成本下,于较短的时间周期(3─6个月)内产生明显收益。二是降低操作风险,出错率将会有两位数的下降,提高该运营流程处理的规范性,实现自动化、规范化的运营流程。三是应对业务波动,对行业的波动可以通过加减机器人的模式应对。四是可以实现7×24小时全时在线。五是易于实现,平均开发仅耗时3周到3个月之间,无需对当前的应用体系做修改。

5. 规划与挑战

在场景应用方面,东吴证券的RPA技术计划将不仅仅限于运营运维方面,还将在财务、风控、发行、投研、客服等领域进行落地,推动业务效率提高。
在技术发展方面,目前的 RPA 需要依赖固定的规则完成自动化任务执行,AI的使用更多的是数据、模型结果的使用,未来的发展是结合 OCR、NLP、机器学习、知识图谱等技术,变成能够自主识别、分析、判断、执行的具有认知能力的智能IPA,成为整合各类垂直 AI 技术落地的入口,从而突破到更大的想象空间。
在管理认知方面,需要逐步增强流程自动化在管理理念上的更新,在工作流效率提升与IT信息基础投入上,需要公司管理自动化与智能化的认知和推广。
在安全管理方面,在流程自动化RPA以及智能过程自动化IPA的发展过程中,有效地降低了人为安全的影响。然而智能化的提出对于自动化的管理提出更高的要求,未来通过数字权利管理(DRM)可以提供自动化的安全保障。

正如国内证券行业的RPA市场还处于早期阶段,RPA产品不管是从定义、技术形态还是未来发展都尚未完全成熟。同时AI各类技术的研究与落地也需要不断探索与努力,东吴证券将会在既定智能流程自动化框架下,按自身实际需求,不断完善流程自动化执行能力,在安全、稳定、准确的前提下,提升各方面工作效率,挖掘公司业务潜力。

附录

[1] Robotic process automation, EY, 03n Dec 2015
[2] Forrester Wave Robotic Process Automation, Q2 2018
[3]华仁杰,张之浩,区块链驱动金融信息系统的可信安全,交易技术前沿, 2019年第一期,pp. 96-103
[4] Mckinsey,The next-generation operating model for the digital world,Mar 2017
[5] 华仁杰,徐轶人,张之浩,智能运营+运维助力券商业务发展,证券信息技术发展研究中心(上海)2018年联合研究课题报告
[6] 运营中心全流程,东吴证券股份有限公司运营中心,2018年第一版
[7] 机器学习在IT运维中的应用, InfoQ,2017-09-24

转自“上交所技术服务”
作者:华仁杰 张之浩 施爱博 / 东吴证券股份有限公司

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广