现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB,采用哪种存储架构存储比较合适?

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。
不知道采用哪种存储架构存储比较合适,还得要考虑备份。

参与58

17同行回答

zp_ccczp_ccc高级技术主管国内某金融科技公司
不能光考虑如何存,还要考虑存完之后,如何用,例如如何检索我知道一家国产公司的产品,做这方面还可以。私聊吧显示全部

不能光考虑如何存,还要考虑存完之后,如何用,例如如何检索
我知道一家国产公司的产品,做这方面还可以。
私聊吧

收起
互联网服务 · 2019-07-11
捕风者捕风者系统架构师HoneycombData Inc.
目录层数深:是 posix 文件系统的缺陷结构百亿小文件,通常需要CMS+Object对象存储架构对象存储不在意 一个层级放多少,可以基本无限扩展考虑到怎么使用,可以自己定义一套数据库来做元数据,也可以使用内存管理模块给应用层提供API之前给某万亿大行做了 一套,现在应该数PB 小...显示全部

目录层数深:是 posix 文件系统的缺陷结构
百亿小文件,通常需要CMS+Object对象存储架构

对象存储不在意 一个层级放多少,可以基本无限扩展
考虑到怎么使用,可以自己定义一套数据库来做元数据,也可以使用内存管理模块给应用层提供API

之前给某万亿大行做了 一套,现在应该数PB 小文件了

收起
互联网服务 · 2019-08-15
浏览7199
匿名用户匿名用户
这样的规模和数据,肯定需要分布式存储结构。目前太深会导致查找的性能不好,是不建议的,建议在三级以内。在存储介质方面,100T空间容易存储,使用磁盘就可以了,如果对性能有要求就可以通过cache机制,基于SSD或内存来提高性能。备份方面,使用同样的存储架构,根据容灾要求,存储两个和三...显示全部

这样的规模和数据,肯定需要分布式存储结构。

目前太深会导致查找的性能不好,是不建议的,建议在三级以内。

在存储介质方面,100T空间容易存储,使用磁盘就可以了,如果对性能有要求就可以通过cache机制,基于SSD或内存来提高性能。

备份方面,使用同样的存储架构,根据容灾要求,存储两个和三个副本,同时考虑异地的情况。

收起
互联网服务 · 2019-07-12
浏览3519

    提问者

    colins
    colins0412
    系统工程师金融行业
    擅长领域: 服务器存储灾备

    相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2019-07-10
  • 关注会员:19 人
  • 问题浏览:19438
  • 最近回答:2022-12-09
  • X社区推广