对于海量非结构化数据的容灾大家是怎么做的?

对于海量非结构化数据的容灾大家是怎么做的,在金融行业有么有基于分布式应用系统的部署案例?
参与7

5同行回答

chenjianhuichenjianhui系统架构师IBM
我个人觉得有以下几点1. 在非结构化数据应用设计的时候,就要考虑数据的摆放问题。尽量的减少备份或复制时对海量数据的遍历,尽快找到更新的数据。2. 可以利用归档-〉复制-〉恢复的方式,先将小文件归档成大文件,再进行传输3. 对于实时性要求高的小文件,可以尽量让这些文件集中...显示全部
我个人觉得有以下几点
1. 在非结构化数据应用设计的时候,就要考虑数据的摆放问题。尽量的减少备份或复制时对海量数据的遍历,尽快找到更新的数据。
2. 可以利用归档-〉复制-〉恢复的方式,先将小文件归档成大文件,再进行传输
3. 对于实时性要求高的小文件,可以尽量让这些文件集中在特定的盘或卷上,使用文件系统/磁盘复制功能。
4. 最好能研究一下业务流程,增加开关,在无法实现海量非结构化数据复制的情况下,在流程里断开对这些数据的使用。收起
硬件生产 · 2015-08-07
浏览1125
张冬林张冬林存储架构师中国电子口岸
谢谢,我的邮箱地址:zhangdonglin@chinaport.gov.cn显示全部
谢谢,我的邮箱地址:zhangdonglin@chinaport.gov.cn收起
轨道交通 · 2015-08-07
浏览1202
chenjianhuichenjianhui系统架构师IBM
回复 4# 张冬林 VSAN我倒是没有研究过,可以研究一下。不过我觉得分布式文件系统倒是一个可行的方案。非结构化数据有个问题是,数据量大,但数据回溯量极低,过了一个星期可能就再也不会被追溯了。我觉得可能要针对性的分析一下数据的生命周期,对于在线数据,可以考虑用磁盘复制或...显示全部
回复 4# 张冬林

VSAN我倒是没有研究过,可以研究一下。不过我觉得分布式文件系统倒是一个可行的方案。非结构化数据有个问题是,数据量大,但数据回溯量极低,过了一个星期可能就再也不会被追溯了。我觉得可能要针对性的分析一下数据的生命周期,对于在线数据,可以考虑用磁盘复制或者文件系统来搞,但是一定要在数据摆放上,把这些数据拉出来。

VSAN的问题,我会专门研究一下。您留给邮箱给我好吧收起
硬件生产 · 2015-08-07
浏览1103
张冬林张冬林存储架构师中国电子口岸
谢谢陈老师的回复,非常有条理。我还想追问一下:通过如类似vsan的软件定义存储是否可以提供解决方案,这个对应用架构有什么特别的要求,谢谢!显示全部
谢谢陈老师的回复,非常有条理。我还想追问一下:通过如类似vsan的软件定义存储是否可以提供解决方案,这个对应用架构有什么特别的要求,谢谢!收起
轨道交通 · 2015-08-07
浏览1617
pweypwey系统架构师中体骏彩
我如果是数据实时同步的要求不高,觉得最好的方式应该是从网络级别的复制,不过由于非结构化数据一般都是大文件的连续传输,如果走光纤成本太高。金融行业我还真不太清楚有没有分布式应用系统,不过我知道一些银行的双活系统是两个中心分别承担不同的业务。...显示全部
我如果是数据实时同步的要求不高,觉得最好的方式应该是从网络级别的复制,不过由于非结构化数据一般都是大文件的连续传输,如果走光纤成本太高。金融行业我还真不太清楚有没有分布式应用系统,不过我知道一些银行的双活系统是两个中心分别承担不同的业务。收起
政府机关 · 2015-08-07
浏览1089

提问者

张冬林
存储架构师中国电子口岸

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-08-07
  • 关注会员:1 人
  • 问题浏览:3959
  • 最近回答:2015-08-07
  • X社区推广