不同的数据管理方案所擅长的数据容量是不同的,传统的关系型数据库或数据仓库一般比较擅长管理的数据容量在10T以下,10-100T是MPP类数据库的最佳实践。超过100T基本上只能依靠开源的Hadoop之类的架构。
所以在设计之初就应该对数据有明确的划分和迁移策略,比如近期交易数据存放于数据库中,历史数据顶起同步到大数据平台或者数据仓库之中。这样就可以避免由数据量的增加带来的性能瓶颈。
如果在设计初期没有做相关的设计,那么应急措施包括定期导出历史数据并存档。后续的跟进方案包括建立大数据平台,将历史备份恢复到大数据平台上进行分析。