这两篇文章涉及的券商业务系统,主要包含交易系统和业务支持两类。交易系统主要有两类任务,一是满足客户的日间交易,是典型OLTP;二是完成盘后 的清算,类似于银行的结算批任务。而业务支持类主要注重数据挖掘与分析,是典型的OLAP。
文中所述痛点还是比较切合实际的,针对其推导出来的用户需求我分别说一下,欢迎参与讨论交流:
1、高弹性。中国是典型的散户市场,日间交易业务的峰谷差距巨大这个是中国证券行业的现实情况,也是监管的要求。目前来看没有什么好的解决方案, 券商一般是按照满足峰值需求来部署软硬件,行情低迷时则资源大量闲置。按使用计费的云可能是一个解决思路。
2、清算速度。清算是重IO负载的批任务,在业务逻辑、SQL及数据库性能已调优的情况下,全闪存应该是不错的解决方案。不知道国内金融行业有没 有成功的案例可供参考?
3、高并发。各券商的部署不尽相同,从我司的情况看,达到高并发的瓶颈一般不涉及存储IO,更多的可能在业务逻辑、业务通道能力、网络能力等方 面。
4、同城异地容灾。券商的日间交易业务本质上是一种通道服务,因此在容灾切换时,首要目标是恢复服务,允许少量事务丢失。文章中提出的存储层数据 同步,和券商很多采用的业务数据逻辑同步(数据同步软件)相比,各自的优势和劣势是什么?
对于楼主总结四点,有几点自己的看法:
2、清算,对于这种大数据分析系统,从成本考虑,还是混合架构更经济一些,在清算系统里,热点还是相对明确的,分层存储及easy tier的结合是不错的选择;
3、高并发,其实我感觉是并发的接收能力,可以通过应用层架构的调整来提高并发能力,分布式架构是不错的选择;
4、个人感觉应用层的复制肯定会更好,毕竟从上层保证了数据的可靠性,恢复时间相对而言会短,验证时间会大幅减少,但相对而言,整体架构设计会复杂,业务逻辑也会增加成本;底层复制技术避免了这些问题,应用不用去关心底层如何实现复制的,只需要正常业务就可以了,但弊端也就是应用层复制的优势,恢复需要应用验证,会增加了恢复时间。
收起1.高弹性问题:如果要实现弹性,可能只能向系统提供商租用,行情好时多租,行情差时少租。应该无法做到自建和租用同时发上的情况。当前,市场上还没有可以提供交易的云服务,券商只能选择自建方式来解决问题。
2.清算时,如果采用全闪存,肯定是快的,问题是全闪存何时能打消大家的顾虑?证券公司对清算是有时效性要求的,超时了会很麻烦。如果闪存系统的稳定性出了问题,估计短时间内是解决不了的
3.存储IO及数据库操作系统从来不是系统瓶颈,我们的压力基本都在前台业务处理中间件上,可以使用集群技术根据实际情况增减中间件。
4.我们的系统刚建设的时候,基于存储的复制和基于日志的复制都有,经过2年的运行,发现基于存储的同步意义不大,而且因网络问题还导致我们性能急剧下降,最后是废掉了储存同步;日志同步虽然可能丢失少部分数据,但这在可容忍范围内,且应用简单。
收起弹性问题的话,我司的核心交易采用了IBM小机。据说现在可以如此操作,各台小型机分别CPU满配,但只共同购买部分许可(据说价格将大幅下降),哪个系统波峰来了,可以实时热调整其许可,以提高处理能力。
刚刚打了好多字 提交的时候网断了 悲哀啊
个人看法
先从123来说吧,业务系统性能的提升我认为可以分成两个部分:1是软件和业务层面的优化和调整 2是硬件性能的提升 从软件和业务层面着手,是一个长期的过程,对技术有比较高的要求,也需要投入较大的精力和较长的时间。第二个是硬件方面,这个受整个it产业链环境的制约,当然也受钱的制约。比如当下的产业环境,长期硬伤的IO领域,闪存高速发展,为解决IO问题提供了一个客观条件。抛开软件层面的调整,替换或调整整个存储环境为闪存,是一个最为简单粗暴的方式,也是一个见效最快最明显的方式。
再说问题4,我接触的好多客户都比较青睐软件或业务层面的容灾,比如oracle的golden gate,db2的hadr等技术。觉得这种容灾方式直接基于应用,简单明了一目了然。而基于存储块级复制的容灾技术,用户不知道都复制了些什么东西,也不知道复制完后到底行不行。所以有些抵触。但块级复制技术作为成熟的容灾方案商业方案已经存在并发展了好多年,只要做好了,稳定性和可靠性还是非常高的。只要在应用层做好了配置,一般都不会出什么问题。而且对于有些应用的容灾方式,各家存储已经提供了融合支持,比如各家对vmware的srm都提供了对应的软件包支持。 而且随着技术的发展,容灾技术也有了很大的进步,和前几年相比,已经不仅仅是量级的提升了。比如ibm的svc,已经不单单作为容灾的角色出现,还集成了存储整合、rtc、easytier、与tsm的fcm备份集成等等高级特性,做到容灾的同时,已经完成并加速了整个存储环境,有了非常高的附加价值。svc esc的同城方案对应用来说,已经可以说是双活了。而svc或8000的hyperswap已经做到了真正意义上的容灾双活,这些相对基于软件的容灾都是非常大的优势。
收起1、高弹性:建议租用IBM 二手小机,周期短,价格低;另外也可采用生产主机CPU满配,但只共同购买部分许可,同时部署应用服务器,平时不起。
2.清算时,实际瓶颈不再存储;已经有几家券商采用全闪存,是快的。
高并发可以用这款产品
超融合加速卡
1.提供极大带宽,不再受制于SAN。
2. 本地读写,不再受制于FLASHCACHE方式的写难题。:
3.实现文件分层,热点文件及时调动,高端存储不再是选项。
1. 提供更高带宽
模块化存储扩展单元,高度并行的存储扩展单元。
带宽与容量成正比,最高提供给单个扩展单元的带宽为78GB/S,
而传统SAN架构最高提供每端口2GB/S,采用InfiniBand 连接可以提供每端口仅为5GB/S。
2. 提供更高IOPS
每块存储单元线性叠加,创造出极高的IOPS能力。
3. 提供微秒级延迟
传统SAN架构环境下,FC卡、SAN SWITCH、存储控制器都是导致延迟增加的问题,标识的微秒级的延迟仅指磁盘到控制器,实测基本都是毫秒级延迟。而我们提供系统级低于0.1ms的延迟
系统全部使用公开商业软件,无专用软件。
IBM标准服务,全面保护投资
收起