对于海量非结构化数据的容灾大家是怎么做的?

对于海量非结构化数据的容灾大家是怎么做的,在金融行业有么有基于分布式应用系统的部署案例?
参与7

5同行回答

chenjianhuichenjianhui系统架构师IBM
我个人觉得有以下几点1. 在非结构化数据应用设计的时候,就要考虑数据的摆放问题。尽量的减少备份或复制时对海量数据的遍历,尽快找到更新的数据。2. 可以利用归档-〉复制-〉恢复的方式,先将小文件归档成大文件,再进行传输3. 对于实时性要求高的小文件,可以尽量让这些文件集中...显示全部
我个人觉得有以下几点
1. 在非结构化数据应用设计的时候,就要考虑数据的摆放问题。尽量的减少备份或复制时对海量数据的遍历,尽快找到更新的数据。
2. 可以利用归档-〉复制-〉恢复的方式,先将小文件归档成大文件,再进行传输
3. 对于实时性要求高的小文件,可以尽量让这些文件集中在特定的盘或卷上,使用文件系统/磁盘复制功能。
4. 最好能研究一下业务流程,增加开关,在无法实现海量非结构化数据复制的情况下,在流程里断开对这些数据的使用。收起
硬件生产 · 2015-08-07
浏览1140
chenjianhuichenjianhui系统架构师IBM
回复 4# 张冬林 VSAN我倒是没有研究过,可以研究一下。不过我觉得分布式文件系统倒是一个可行的方案。非结构化数据有个问题是,数据量大,但数据回溯量极低,过了一个星期可能就再也不会被追溯了。我觉得可能要针对性的分析一下数据的生命周期,对于在线数据,可以考虑用磁盘复制或...显示全部
回复 4# 张冬林

VSAN我倒是没有研究过,可以研究一下。不过我觉得分布式文件系统倒是一个可行的方案。非结构化数据有个问题是,数据量大,但数据回溯量极低,过了一个星期可能就再也不会被追溯了。我觉得可能要针对性的分析一下数据的生命周期,对于在线数据,可以考虑用磁盘复制或者文件系统来搞,但是一定要在数据摆放上,把这些数据拉出来。

VSAN的问题,我会专门研究一下。您留给邮箱给我好吧收起
硬件生产 · 2015-08-07
浏览1117

提问者

张冬林
存储架构师中国电子口岸

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-08-07
  • 关注会员:1 人
  • 问题浏览:3988
  • 最近回答:2015-08-07
  • X社区推广