最成功的数据仓库都是以循序渐进的方式逐步发展起来的,它的每一次发展都提高了信息的商业价值。近年来,数据仓库已经发展到能支持企业决策,甚至支持企业合作伙伴和客户的新高度。在电信领域也是如此。数据仓库提供的信息极大地提高了电信相关业务部门的决策质量,特别是在当今竞争异常激烈的商业环境中,数据仓库的作用日益凸现。
由于电信领域的数据生成环节较多,涵盖网络资源和运营状态、不同业务的运行状态、用户属性描述数据和用户消费行为记录数据等。要想妥善存储、管理这些数据,并且在决策中发挥其价值,对于电信数据仓库的设计至关重要。目前,在电信数据仓库的设计过程中要把握好以下环节。
异种数据源集成
企业在进行经营分析与决策支持系统的建设时,必须将遗留系统(LegacySystem)进行高效全面的集成。由于遗留系统是在企业发展的不同时期建设的,往往缺乏全局规划,所以拥有不同的操作系统、不同的数据库、不同的网络通信机制等,形成了所谓的“信息孤岛”。
系统中采用异种数据源企业应用集成接口,来实现对异种数据源的透明访问,包括数据源元数据访问及业务操作数据访问。数据源分为在线数据源和离线数据源,在线数据源是指允许在线抽取的业务数据源,如营业数据;离线数据源是指不允许直接在线抽取的数据源,如计费样单数据就是以脱机文件数据格式及FTP方式集成进系统。
对数据源实现元数据级的管理,数据源的连接类型(ODBC、OLEDB、JDBC、Native)、连接字符串以及数据结构信息都以元数据的形式存储于元数据库中,通过控制台对其进行业务语义定义,使用户对整个企业的信息系统有全面的掌握。
ODS层的设计
操作数据存储ODS(OperationDataStor-age)是一个集成了来自不同数据库数据的环境。其目的是为终端用户提供一致的企业数据集成视图。它可以帮助用户轻松应对跨多个商业功能的操作挑战,是面向主题的、集成的、近实时的数据存储。
设计ODS层的目的在于改善对关键操作数据库的存取状况,用户能获得收益、客户等主题的企业级完整视图,有利于更好地通观全局。近实时的数据存储提供了查询与服务能力,并以更高的性能生成操作报告。设计ODS的核心是实现焦点主题全局试图应用,如企业的客户管理系统,可以建立以客户为中心的ODS客户主题视图,向上层提供高效的服务。而对于话费结算则采取从综合结算系统中直接抽取到数据仓库的方式,抽取周期为结算周期,能完全满足决策分析的时间窗要求。
ETL过程的设计
数据抽取、转换和加载,是数据仓库实现过程中,数据由数据源系统向数据仓库加载的主要方法,整个数据处理过程如下:
数据抽取。从数据源系统抽取数据仓库系统所需的数据,数据抽取采用统一的接口,可以从数据库抽取数据,也可以从文件中抽取。对于不同数据平台、源数据形式、性能要求的业务系统以及不同数据量的源数据,可能采用的接口方式不同,为保证抽取效率、减少对生产运营的影响,对于大数据量的抽取,采取“数据分割、缩短抽取周期”的原则,对于直接的数据库抽取,采取协商接口表的方式,保障生产系统数据库的安全。
数据转换。数据转换是指对抽取的源数据根据数据仓库系统模型的要求,进行数据的转换、清洗、拆分、汇总等,保证来自不同系统、不同格式的数据和信息模型具有一致性和完整性,并按要求装入数据仓库。
数据加载。数据加载是将转换后的数据加载到数据仓库中,可以采用数据加载工具,也可以采用API编程进行数据加载。数据加载策略包括加载周期和数据追加策略,对于电信企业级应用,采用对ETL工具DataStage进行功能封装,向上提供监控与调度接口的方式。数据加载周期要综合考虑经营分析需求和系统加载的代价,对不同业务系统的数据采用不同的加载周期,但必须保持同一时间业务数据的完整性和一致性。
仓库模型设计
由于经营分析需求的不断变化,数据仓库中数据的存储必须采用主题分域的方式,以尽可能小的业务单元进行数据的组织和存储,以满足数据仓库的灵活性要求。此外,任何一个信息系统都具有整体性、结构性、层次性、相对性、可变性,数据仓库的目标逻辑结构的设计要体现这些特征。
例如,某电信运营商的业务可以按照不同的主题域分为八类:客户、账务、资源、服务、客服、营销、服务使用、结算。客户主题包含与客户相关的基本信息,如客户的自然属性(姓名、年龄、职业等)、分类信息(现有客户、潜在客户、大客户等)、重要属性信息(信用度、忠诚度、消费层次等)。
账务主题中包含了与客户相关的费用信息,如明细账单、综合账单、账本、账户、付费记录、销账流水等;资源主题中包含网络资源、服务资源信息及占用情况;服务主题包含产品、套餐、资费与优 惠规则等的信息;客服主题包含与客户服务相关的部门信息、流程信息、分类信息等;营销主题包含销售机会、营销渠道、促销活动等相关信息;服务使用主题描述客户购买和使用电信服务产品的信息,包括用户、服务使用记录、清单等;结算主题包含结算清单、结算明细账单、合作服务方等信息。对于主题的建模采用星形结构,以事实表或概要表加相关维表构成。
收起