mysql数据库如何设计能保留历史数据信息?

mysql数据库如何设计能保留历史数据信息?场景:mysql数据库作为系统数据存储,使用分库分表方式进行数据的分流。按照数据湖方式建设将数据归集到tidb(newsql数据库)。采集方式使用类主从同步近实时采集,省去etl(T+1)。存在的问题:由于mysql数据库作为系统数据存储,考虑到数据量问题...显示全部

mysql数据库如何设计能保留历史数据信息?
场景:mysql数据库作为系统数据存储,使用分库分表方式进行数据的分流。按照数据湖方式建设将数据归集到tidb(newsql数据库)。采集方式使用类主从同步近实时采集,省去etl(T+1)。
存在的问题:由于mysql数据库作为系统数据存储,考虑到数据量问题对数据的修改、删除在原数据基础上进行,导致没有历史数据可用。数据分析对历史数据依赖性很强,有没有好的解决方案?

收起

返回韩成亮的回答

韩成亮韩成亮  数据库管理员 , KE
yinxin冯岩赞同了此回答

这个一个方法就是区分冷热数据,常规而言业务数据提供实时查询的不会超过6个月,当然如果你的数据量太大,也可以考虑更短,数据的修改分两种,因为定义了冷热数据,热数据在mysql修改,冷数据在tidb修改,然后查询的问题统一从tidb这边提供接口的方式处理
关于数据分析对历史数据的依赖,可以把历史数据当初ods数据,然后生成各种的dm数据,乃至于dw数据

 2019-10-25

回答者

韩成亮数据库管理员, KE

回答状态

  • 发布时间:2019-10-25
  • 关注会员:2 人
  • 回答浏览:90
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30