development
作者development·2010-12-11 14:03
·

谈MDM和BI及SOA三者关系

字数 1476阅读 2085评论 0赞 0
首先来看看MDM和BI的关系,可以看到MDM和BI都有元数据管理和ETL部分的内容。对于元数据管理MDM一般并不会按数据仓库模型进行重新的数据建 模,而BI系统由于更多要管理业务数据,重点还需要考虑业务数据的各个维度,因此需要按照数据仓库的建模思路进行维度建模。所以MDM中的ETL相对简 单,抽取和装载多,而实际的转化和复杂的映射并不会太多。

要注意对于BI系统,重点是ETL后的数据分析和数据挖掘,包括后面的ODS,数据集式和数据仓库的重点都是使用和分析数据,不负责数据分发。而对于 MDM系统重点则不是MDM本身要如何使用数据,而是需要通过ETL或其它方式收集数据后进行数据整合,在数据整合完成后要发布数据给其它系统用,同时所 有对数据的修改也需要及时发送,重点是保证主数据的完整性和一致性。

BI和MDM系统一结合可以看到,BI系统将不再从各个业务系统抽取引用数据和主数据,而是从MDM系统进行抽取,这样减少了BI系统进行的主数据管理和整合工作,BI系统只需要从各个业务系统抽取业务数据。这个时候数据流变化为如下:

  • MDM系统抽取和整合各个业务系统中的主数据,形成统一完整数据视图
  • ODS抽取各个业务系统业务数据,同时抽取MDM中的主数据
  • DW抽取ODS中的业务数据和主数据,最终形成数据仓库需要的星型或雪花型等各种维度表

所以实施MDM后对于BI系统带来的好处就是,BI不需要关注主数据的管理和整合问题,也不需要去关心主数据的分发问题。这些问题都由MDM系统来完成,当然BI系统已有的ETL工具,MDM系统在建设过程中仍然可以使用。

而对于MDM和SOA一定是相互依存和相互促进的关系。MDM的建设提供了完整统一的数据视图,为SOA的数据服务提供了强有力的支持,也提升了SOA的 组合服务和流程编排类服务的设计能力。在没有MDM前,由于SOA本身不存储数据,更谈不上数据的清理,合并和转换。关于基础数据的整合和管理工作是无法 真正落地的,而MDM系统的建设很好的担当了SOA系统的存储功能。

而对于MDM系统,数据初始化的阶段我们可以考虑使用ETL工具进行数据的初始化。但是对于系统正式上线后,主数据本身就是变更不频繁的数据,变更数据量 不大但是实时要求高,在这种情况下再采用ETL进行数据抽取和数据集成已经不是很好的方式。而可以看到对于这种情况下整理数据的收集和数据统一视图的发布 完全可以借助SOA服务进行,特别是在SOA的EDA机制下更加容易实现事件驱动的增量实时消息响应。

主数据管理系统建设,对于识别的主数据发展趋势仍然是要从共存模式转化到集中模式,只有到了集中模式才能够更好的实现主数据的申请,创建,变更,发布等各 种流程的统一管理,保证数据源头的唯一性,从根本上解决数据不一致的问题。而对于一个主数据管理系统,我们也应该认识到其核心功能仍然应该围绕主数据展 开,即主数据的全生命周期管理,主数据的申请和创建流程,主数据变更流程主数据的发布流程,废弃流程的全过程的管理。在这个管理中考虑到和BI和SOA系 统关系,扩展如下功能

  • 主数据对象的定义和元数据管理(类似BI产品中的元数据管理)
  • 主数据质量管理(类似BI产品中的数据质量管理)
  • 数据集成管理(一方面是BI中的ETL集成,一方面是SOA集成)
  • 服务管理(如何将主数据管理的成功更好的发布为数据服务,集成到SOA)
  • 流程管理(主数据管理中的流程,如何更好的和SOA中的BPEL功能进行整合)

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广