因为存储从容量空间或者读写性能上都会有一个临界点,因此请专家给一些参考建议。
1、在设计之初是否如何做好数据管理的策略。
2、如何在设计时未作管理,那在运营过程中如何维护数据。
不同的数据管理方案所擅长的数据容量是不同的,传统的关系型数据库或数据仓库一般比较擅长管理的数据容量在10T以下,10-100T是MPP类数据库的最佳实践。超过100T基本上只能依靠开源的Hadoop之类的架构。
所以在设计之初就应该对数据有明确的划分和迁移策略,比如近期交易数据存放于数据库中,历史数据顶起同步到大数据平台或者数据仓库之中。这样就可以避免由数据量的增加带来的性能瓶颈。
如果在设计初期没有做相关的设计,那么应急措施包括定期导出历史数据并存档。后续的跟进方案包括建立大数据平台,将历史备份恢复到大数据平台上进行分析。