用Sybase数据仓库打造个人业务管理系统（转载）
信息化被视作现代商业银行的生命线。从20世纪末到21世纪初，当数据大集中成为银行“科技兴行”新的战略目标时，以数据大集中为标志的金融信息化浪潮席卷了整个中国银行业。
而经过近几年的努力，中国银行业的数据大集中工作，取得了阶段性的成果，大多数银行都实现了区域集中，有的银行已经实现数据的全国集中。中国农业银行也不例外，在建成36个省域数据中心的基础上，2004年完成了全国集中式数据中心的建设。
但广东农行随后发现，在银行数据大集中的系统架构之下，由于总行大集中业务系统对各分行差别化的支持能力有限，无法提供完全满足需要的业务功能，从而产生出了一些新问题：
·怎样发展本地化、区域性的新业务(如中间业务)，加快新产品与服务的推出?
·怎样发展本地化、区域性的分析型应用?
·怎样满足分行内部对特殊生产报表的需求，而大集中业务系统又暂时无法提供?
·怎样满足各地金融监管机构的报表要求，如本地区人民银行的上报报表、公检部门对历史数据的不定期查询?
>客户需求
随着广东农行个人业务的不断发展，对个人业务的分析要求也多种越来越多。而且随着客户经理制的深入实施，大集中业务系统中的分析功能无法满足客户经理及各级管理人员的个人业务分析需求。
因此广东农行希望建设一套个人业务管理系统，为个人业务的发展提供良好的技术支撑，以现有的系统依托，结合我省个人业务经营与管理的实际需要，建立一个集客户信息管理(CIM)、客户关系管理(CRM)、内部绩效考核(客户经理、理财经理、柜员，以及各种机构)、市场行销管理、产品开发管理、风险分析预警管理、机构网点管理以及数据分析挖掘为一体的分析管理系统，形成一个与个人业务相关的各种制度相配套、充分与业务实际操作相结合的完整体系。
>系统选型
构建个人业务管理系统有两个方案，一个是基于NCR企业数据仓库建设方案;另一个是基于SYBASE历史存储和查询数据建设方案。对基于NCR的方案，从现状分析，广东农行有成功的和一直在运行的案例，如经营分析系统，同时也有一只懂经营管理业务开发和使用NCR Teradata经验比较丰富的队伍。在现有的经营分析系统基础上构建个人业务管理系统，会大大地缩短项目的建设周期，但是由于经营分析系统是总行在广东的试点项目，在资源上当时仅考虑正常试点所必要的资源，如果在其上构建新的系统，需要在原有资源上进行扩容，所需的投资比较大。对基于SYBASE的方案，其IQ数据库，虽然广东农行开发队伍不是很熟悉，但有ASE的开发经验，不存在太多的技术障碍，并且所需投资在能承受的范围内。
基于这个现状，广东农行接受了Sybase的建议，选用Sybase IQ12.6作为其大数据量存储的数据引擎，并合理利用业务大集中后遗留下的小型机服务器及数据存储设备，为广东农行提供了一个数据处理时间更短、查询效率更快、并发查询用户的支持更多、数据量的支持更大，并且满足业务人员，特别是客户经理的分析功能更多的个人业务管理系统解决方案。
选用SYBASE IQ主要考虑到以下几方面原因:
·首先，SYBASEIQ是按列而不是按行存储和访问表数据。决策处理中的很多查询只需要很少量的列数据，因而与传统的RDBMS相比，这种方法在选择满足查询条件的数据时，只须涉及到很少的数据页面。
·其二，按列存储数据时由于相邻接的字段值具有相同的数据类型，所以使SYBASEIQ更容易对数据作压缩处理。但在传统的按行存储数据的情况下，就不可能有这样的效果，因为列与列之间数据类型通常是不同的。数据压缩的另一好处，是经去规范化处理而形成的表不会对磁盘空间有过量的要求，因为重复的数据经压缩实际上就消除了。数据的列式存储所带来的另一好处，是当需要一列新数据时不会引起数据库结构的改变，而对于很多传统的RDBMS而言，在这种情况下数据库结构的改变恰恰是免不了的事。
·其三，比特式(bit-wise)索引及相应的压缩技术是Sybase的一项专利。
SYBASEIQ运用这一技术对数据仓库中的所有字段建索引，由此不仅带来查询效率的大幅度提高，而且还降低了对磁盘空间的占用。
·其四，根据广东农行的数据特点，市场上的ETL工具很难满足复杂数据源和分布式数据源的抽取工作，本项目的技术方案中，ETL的设计和开发自行开发完成，从而更好的完成从数据文件至ODS数据存储区和ODS至IQ的数据转换、清洗和加载过程。
>系统结构
在Sybase提供的IQ解决方案中，基于如上图所示的系统架构，个人业务数据的处理可分为以下几大步骤：
从总行下发的数据文件中中直接以业务处理系统完全相同的数据结构加载到IQ数据库中，并按一定的结构使其能保留足够长的时间，从而形成广东农行全分行业务数据的历史存储ODS表。
个人业务分析主题则从ODS平台数据层中提取生成主题化的个人业务数据，最终以多种展现方式满足最终用户的不同业务需求：
·多维分析：对于新增个人业务分析主题，通过IQ-ODS表，按维度建模方式，生成相应的事实表与维表，向IBMDB2 OLAPServer提供具体的业务数据，由其生成CUBE，完成业务分析过程
·定式报表：根据个人业务不断增加的报表需求，可随时确定相应报表的数据结构，并及时从IQ-ODS表中生成报表数据，完成对个人业务分析人员或客户经理的有效支持
·随机查询：个人业务分析人员或客户经理可以浏览器访问的方式，通过系统的应用服务器去直接访问IQ-ODS表中的数据，了解在联机业务处理OLTP系统(如总一代ABIS系统、信贷管理系统)中的原始历史数据，即完成查询明细数据(客户及帐务、市场客户营销、客户分群等)的功能。
>实施效果
通过2006年的项目实施，广东农行个人业务管理系统已经运行上线，提供了以下业务功能：
·客户管理
·信用卡管理
·客户经理管理
·产品管理
·个人贷款管理
·机构管理
Sybase IQ有效地支撑了广东农行对全分行历史数据存储及个人业务分析的需求。
·原始数据量增大-从500G到6TB
·压缩存储空间，IQ数据库1.5TB
·运算逻辑更复杂-多个千万记录表的全表比对
·更短的批量处理时间-从16小时缩短到7小时
·95%的查询小于2分钟，最复杂查询不超过30分钟
·更少的硬件投资，从NCR主机到IBM小型机
·而且Sybase IQ的解决方案还具有优良的业务扩展性，可在ODS平台基础之上继续建设公司业务分析主题、信贷业务分析主题等，满足不同部门的分析需求。
综上所述，使用以SYBASE IQ为基础的解决方案，成为了广东省农行分析系统的重要组成部分，满足了广东省农行的业务数据存储及分析查询的双重需求，增强了个人业务的分析能力，体现了此系统的应用价值
而经过近几年的努力，中国银行业的数据大集中工作，取得了阶段性的成果，大多数银行都实现了区域集中，有的银行已经实现数据的全国集中。中国农业银行也不例外，在建成36个省域数据中心的基础上，2004年完成了全国集中式数据中心的建设。
但广东农行随后发现，在银行数据大集中的系统架构之下，由于总行大集中业务系统对各分行差别化的支持能力有限，无法提供完全满足需要的业务功能，从而产生出了一些新问题：
·怎样发展本地化、区域性的新业务(如中间业务)，加快新产品与服务的推出?
·怎样发展本地化、区域性的分析型应用?
·怎样满足分行内部对特殊生产报表的需求，而大集中业务系统又暂时无法提供?
·怎样满足各地金融监管机构的报表要求，如本地区人民银行的上报报表、公检部门对历史数据的不定期查询?
>客户需求
随着广东农行个人业务的不断发展，对个人业务的分析要求也多种越来越多。而且随着客户经理制的深入实施，大集中业务系统中的分析功能无法满足客户经理及各级管理人员的个人业务分析需求。
因此广东农行希望建设一套个人业务管理系统，为个人业务的发展提供良好的技术支撑，以现有的系统依托，结合我省个人业务经营与管理的实际需要，建立一个集客户信息管理(CIM)、客户关系管理(CRM)、内部绩效考核(客户经理、理财经理、柜员，以及各种机构)、市场行销管理、产品开发管理、风险分析预警管理、机构网点管理以及数据分析挖掘为一体的分析管理系统，形成一个与个人业务相关的各种制度相配套、充分与业务实际操作相结合的完整体系。
>系统选型
构建个人业务管理系统有两个方案，一个是基于NCR企业数据仓库建设方案;另一个是基于SYBASE历史存储和查询数据建设方案。对基于NCR的方案，从现状分析，广东农行有成功的和一直在运行的案例，如经营分析系统，同时也有一只懂经营管理业务开发和使用NCR Teradata经验比较丰富的队伍。在现有的经营分析系统基础上构建个人业务管理系统，会大大地缩短项目的建设周期，但是由于经营分析系统是总行在广东的试点项目，在资源上当时仅考虑正常试点所必要的资源，如果在其上构建新的系统，需要在原有资源上进行扩容，所需的投资比较大。对基于SYBASE的方案，其IQ数据库，虽然广东农行开发队伍不是很熟悉，但有ASE的开发经验，不存在太多的技术障碍，并且所需投资在能承受的范围内。
基于这个现状，广东农行接受了Sybase的建议，选用Sybase IQ12.6作为其大数据量存储的数据引擎，并合理利用业务大集中后遗留下的小型机服务器及数据存储设备，为广东农行提供了一个数据处理时间更短、查询效率更快、并发查询用户的支持更多、数据量的支持更大，并且满足业务人员，特别是客户经理的分析功能更多的个人业务管理系统解决方案。
选用SYBASE IQ主要考虑到以下几方面原因:
·首先，SYBASEIQ是按列而不是按行存储和访问表数据。决策处理中的很多查询只需要很少量的列数据，因而与传统的RDBMS相比，这种方法在选择满足查询条件的数据时，只须涉及到很少的数据页面。
·其二，按列存储数据时由于相邻接的字段值具有相同的数据类型，所以使SYBASEIQ更容易对数据作压缩处理。但在传统的按行存储数据的情况下，就不可能有这样的效果，因为列与列之间数据类型通常是不同的。数据压缩的另一好处，是经去规范化处理而形成的表不会对磁盘空间有过量的要求，因为重复的数据经压缩实际上就消除了。数据的列式存储所带来的另一好处，是当需要一列新数据时不会引起数据库结构的改变，而对于很多传统的RDBMS而言，在这种情况下数据库结构的改变恰恰是免不了的事。
·其三，比特式(bit-wise)索引及相应的压缩技术是Sybase的一项专利。
SYBASEIQ运用这一技术对数据仓库中的所有字段建索引，由此不仅带来查询效率的大幅度提高，而且还降低了对磁盘空间的占用。
·其四，根据广东农行的数据特点，市场上的ETL工具很难满足复杂数据源和分布式数据源的抽取工作，本项目的技术方案中，ETL的设计和开发自行开发完成，从而更好的完成从数据文件至ODS数据存储区和ODS至IQ的数据转换、清洗和加载过程。
>系统结构
在Sybase提供的IQ解决方案中，基于如上图所示的系统架构，个人业务数据的处理可分为以下几大步骤：
从总行下发的数据文件中中直接以业务处理系统完全相同的数据结构加载到IQ数据库中，并按一定的结构使其能保留足够长的时间，从而形成广东农行全分行业务数据的历史存储ODS表。
个人业务分析主题则从ODS平台数据层中提取生成主题化的个人业务数据，最终以多种展现方式满足最终用户的不同业务需求：
·多维分析：对于新增个人业务分析主题，通过IQ-ODS表，按维度建模方式，生成相应的事实表与维表，向IBMDB2 OLAPServer提供具体的业务数据，由其生成CUBE，完成业务分析过程
·定式报表：根据个人业务不断增加的报表需求，可随时确定相应报表的数据结构，并及时从IQ-ODS表中生成报表数据，完成对个人业务分析人员或客户经理的有效支持
·随机查询：个人业务分析人员或客户经理可以浏览器访问的方式，通过系统的应用服务器去直接访问IQ-ODS表中的数据，了解在联机业务处理OLTP系统(如总一代ABIS系统、信贷管理系统)中的原始历史数据，即完成查询明细数据(客户及帐务、市场客户营销、客户分群等)的功能。
>实施效果
通过2006年的项目实施，广东农行个人业务管理系统已经运行上线，提供了以下业务功能：
·客户管理
·信用卡管理
·客户经理管理
·产品管理
·个人贷款管理
·机构管理
Sybase IQ有效地支撑了广东农行对全分行历史数据存储及个人业务分析的需求。
·原始数据量增大-从500G到6TB
·压缩存储空间，IQ数据库1.5TB
·运算逻辑更复杂-多个千万记录表的全表比对
·更短的批量处理时间-从16小时缩短到7小时
·95%的查询小于2分钟，最复杂查询不超过30分钟
·更少的硬件投资，从NCR主机到IBM小型机
·而且Sybase IQ的解决方案还具有优良的业务扩展性，可在ODS平台基础之上继续建设公司业务分析主题、信贷业务分析主题等，满足不同部门的分析需求。
综上所述，使用以SYBASE IQ为基础的解决方案，成为了广东省农行分析系统的重要组成部分，满足了广东省农行的业务数据存储及分析查询的双重需求，增强了个人业务的分析能力，体现了此系统的应用价值