现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB,采用哪种存储架构存储比较合适?

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。不知道采用哪种存储架构存储比较合适,还得要考虑备份。显示全部

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。
不知道采用哪种存储架构存储比较合适,还得要考虑备份。

收起
参与58

查看其它 16 个回答raphlgu的回答

raphlguraphlgu项目经理旭升

我说一下我们的使用环境和效果,仅供参考。

1、我们的使用环境。

  • 容量。每个项目盘,50TB左右项目文件。
  • 深度。最深深度十几层,平均深度也有6~7层。
  • 大小。70%左右5~10MB文件,50%左右1~5MB文件
  • 操作系统。Windows Server 2012 R2。因为项目文件权限管理采用微软NTFS权限
  • 业务特点。90%读,10%写。其中并发访问量不小于1100+

2、我们的实际使用效果:

  • 存储。FC SAN绝对要好于NAS。无论是10Gbps还是25Gbps的NAS。
  • 文件服务器。物理机,VMware虚拟机,区别不大

我们使用经验:

  • 小文件数量多,文件深度较大情况下,如果有一定并发访问量,同时是即时性较强的业务数据。SAN的表现非常好。这是因为 SAN块协议是一个专用存储协议,能够更好处理IO命令,并通过专用SAN网络传输,不受当前环境的影响。
  • NAS的速度受到2个因素影响:NAS本身的文件系统、NAS的传输网络(以太网)。我们觉得NAS文件系统首先并不是为小文件而设计,因此没有海量小文件这方面的优势。另外NAS文件系统的优势在于丰富的数据管理功能,而不是性能。现在NAS厂家,如果免费提供的功能少于20+,都不好意思和用户讲。最后,我们的多年经验就是NAS依赖的以太网不是一种IO传输网络,在极端情况下会发生异常表现的几率很高,特别是TCP传输这层,过于复杂的可靠性保障机制,意味牺牲性能在所不惜,其实并不适合要求很高的IO场景。
IT咨询服务 · 2021-02-03
浏览4085

回答者

raphlgu
项目经理旭升
擅长领域: 安全灾备存储

raphlgu 最近回答过的问题

回答状态

  • 发布时间:2021-02-03
  • 关注会员:19 人
  • 回答浏览:4085
  • X社区推广