如何能更好的管理好企业的历史数据?

联机交易型系统
背景描述:
企业的核心联机型系统(如ERP、MES等)随着上线时间的推移,积累的数据量不断增长,数据库的运行效率逐渐降低,严重时更会影响业务系统的有效使用。
数据是企业的生命线,但是过多的数据不但会降低应用的性能,还会耗尽IT资源。因此,数据需要管理,但如何管理已然成为企业面临的新课题。

问题描述:

在企业的生产数据库中至少50%用于核心应用(如ERP、CRM和企业财务)的数据都不在被活跃地使用,因此,如何对生产数据库进行瘦身,以实现减少资源占用,提高生产系统效率,就是我们需要面对的问题?

通常能想到的解决方案是构建核心生产系统的归档系统,把沉睡的数据通过数据归档的方式迁移到归档数据库中。
那么伴随而来的问题是,如何规划归档系统,归档系统使用什么技术进行数据迁移? 如何制定数据归档的规则,是按业务数据链路归档,还是按时间戳归档?
参与5

3同行回答

leiman720leiman720系统架构师BS
还有一个需要关注的,如何在不影响生产系统的前提下,持续的定期归档!!  归档时对数据库来说会有大量的查询和删除操作,而且刚执行完归档之后,如果不进行碎片整理,性能可能比归档前还要差。...显示全部
还有一个需要关注的,如何在不影响生产系统的前提下,持续的定期归档!!  归档时对数据库来说会有大量的查询和删除操作,而且刚执行完归档之后,如果不进行碎片整理,性能可能比归档前还要差。收起
工业制造其它 · 2015-08-05
浏览1847
leiman720leiman720系统架构师BS
个人认为啊,对于业务系统来说,痛点主要在于 首先归档内容太少对于业务系统减负起不到明显的效果。 那么如何确保相关联的数据都能完整归档,不会多也不会少, 就变得很重要了。 这个需要对整个业务逻辑、数据流都非常了解。  因为一旦某个交易需要使用某个数据时,却...显示全部
个人认为啊,对于业务系统来说,痛点主要在于 首先归档内容太少对于业务系统减负起不到明显的效果。 那么如何确保相关联的数据都能完整归档,不会多也不会少, 就变得很重要了。 这个需要对整个业务逻辑、数据流都非常了解。  因为一旦某个交易需要使用某个数据时,却发现数据找不到了,被归档了,那么关联交易肯定要失败的。收起
工业制造其它 · 2015-08-05
浏览1826
pweypwey系统架构师中体骏彩
个人感觉历史数据的合理规划对也业务系统是必须的,及时整理数据很重要。仅仅针对生产数据库,不断有DML操作的数据表都需要定期进行在线整理,所以我们的数据也需要定期的进行分级规划。从目前主流的数据库分析,花钱的法子就是利用GoldenGate等类似软件进行历史数据迁移,省钱的...显示全部
个人感觉历史数据的合理规划对也业务系统是必须的,及时整理数据很重要。
仅仅针对生产数据库,不断有DML操作的数据表都需要定期进行在线整理,所以我们的数据也需要定期的进行分级规划。
从目前主流的数据库分析,花钱的法子就是利用GoldenGate等类似软件进行历史数据迁移,省钱的方式就是通过应用来实现应用迁移,当然数据库本身提供的一些DBLINK等等也可以完成,不过对数据库性能及稳定性都有一定影响,维护成本也会提高。
数据归档规则,我觉得看业务模式,主要还是看业务驱动的方式,如果是数据链路就按链路归档,时间就按时间进行归档。
随便聊聊,欢迎大家指正。收起
政府机关 · 2015-08-05
浏览1847

提问者

chenkaiwu
系统架构师福建省人力资源和社会保障厅
擅长领域: 大数据服务器云计算

相关问题

相关资料

问题状态

  • 发布时间:2015-08-05
  • 关注会员:2 人
  • 问题浏览:3519
  • 最近回答:2015-08-05
  • X社区推广