现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB,采用哪种存储架构存储比较合适?

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。不知道采用哪种存储架构存储比较合适,还得要考虑备份。显示全部

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。
不知道采用哪种存储架构存储比较合适,还得要考虑备份。

收起
参与58

查看其它 16 个回答捕风者的回答

捕风者捕风者系统架构师HoneycombData Inc.

目录层数深:是 posix 文件系统的缺陷结构
百亿小文件,通常需要CMS+Object对象存储架构

对象存储不在意 一个层级放多少,可以基本无限扩展
考虑到怎么使用,可以自己定义一套数据库来做元数据,也可以使用内存管理模块给应用层提供API

之前给某万亿大行做了 一套,现在应该数PB 小文件了

互联网服务 · 2019-08-15
浏览7172

回答者

捕风者
系统架构师HoneycombData Inc.
擅长领域: 存储服务器灾备

捕风者 最近回答过的问题

回答状态

  • 发布时间:2019-08-15
  • 关注会员:19 人
  • 回答浏览:7172
  • X社区推广