现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB,采用哪种存储架构存储比较合适?

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。不知道采用哪种存储架构存储比较合适,还得要考虑备份。显示全部

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。
不知道采用哪种存储架构存储比较合适,还得要考虑备份。

收起
参与58

查看其它 16 个回答匿名用户的回答

匿名用户匿名用户

这样的规模和数据,肯定需要分布式存储结构。

目前太深会导致查找的性能不好,是不建议的,建议在三级以内。

在存储介质方面,100T空间容易存储,使用磁盘就可以了,如果对性能有要求就可以通过cache机制,基于SSD或内存来提高性能。

备份方面,使用同样的存储架构,根据容灾要求,存储两个和三个副本,同时考虑异地的情况。

互联网服务 · 2019-07-12
浏览3501

回答状态

  • 发布时间:2019-07-12
  • 关注会员:19 人
  • 回答浏览:3501
  • X社区推广