现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB,采用哪种存储架构存储比较合适?

现有小文件,数量几亿甚至上百亿,目录深度较深,数据量大概是100TB。
不知道采用哪种存储架构存储比较合适,还得要考虑备份。

7回答

张鹏张鹏  技术总监 , 中国金融电子化公司
泊涯三味线挚爱咖啡赞同了此回答
不能光考虑如何存,还要考虑存完之后,如何用,例如如何检索我知道一家国产公司的产品,做这方面还可以。私聊吧显示全部

不能光考虑如何存,还要考虑存完之后,如何用,例如如何检索
我知道一家国产公司的产品,做这方面还可以。
私聊吧

收起
 4天前
浏览457
aixchina 邀答
fuzzycolefuzzycole  产品经理 , UMCloud
挚爱咖啡赞同了此回答
当然分布式对象存储是最好的解决方案啦。现在主流就是s3协议,好处就是既有公有云的s3也有基于私有云部署的s3,多个集群间也可做迁移和同步。显示全部

当然分布式对象存储是最好的解决方案啦。
现在主流就是s3协议,好处就是既有公有云的s3也有基于私有云部署的s3,多个集群间也可做迁移和同步。

收起
 4天前
浏览455
十一浪子十一浪子  存储工程师 , 业余
挚爱咖啡赞同了此回答
最佳方式就是采用对象存储。对象存储在解决海量文件的存储方面性能是非常优秀的。同时,目前的对象存储大多采用的是分布式架构,所以数据安全也有极大的保障。显示全部

最佳方式就是采用对象存储。对象存储在解决海量文件的存储方面性能是非常优秀的。同时,目前的对象存储大多采用的是分布式架构,所以数据安全也有极大的保障。

收起
 4天前
浏览450
lxk215313951lxk215313951  系统工程师 , 城市商业银行
对象存储无疑了,大家都在用开源的ceph还是用商业的对象存储解决方案?可以推荐几个做对象存储性价比高的厂商吗?显示全部

对象存储无疑了,大家都在用开源的ceph还是用商业的对象存储解决方案?可以推荐几个做对象存储性价比高的厂商吗?

收起
 4天前
浏览410
  • 了解一下EMC的Atmos吧,在国内一些券商、保险和银行的双录和影像系统都有使用,性能很好
asdf-asdfasdf-asdf  研究学者 , cloudstone
ipfs + ipfs cluster显示全部

ipfs + ipfs cluster

收起
 3天前
浏览188
thiefqwthiefqw  存储工程师 , dell存储售前部门
如果不看预算的话,商业的几个软件定义存储都有解决方案,甚至业内最高IOPS的,DELLEMC-POWERMAX也可以考虑。如果担心预算的话,可以看看微软的S2D解决方案,100TB并不多,可以全部上NVME,有非常好的IOPS表现,成本也非常低...显示全部

如果不看预算的话,商业的几个软件定义存储都有解决方案,甚至业内最高IOPS的,DELLEMC-POWERMAX也可以考虑。
如果担心预算的话,可以看看微软的S2D解决方案,100TB并不多,可以全部上NVME,有非常好的IOPS表现,成本也非常低

收起
 3天前
浏览145
匿名用户匿名用户
这样的规模和数据,肯定需要分布式存储结构。 目前太深会导致查找的性能不好,是不建议的,建议在三级以内。 在存储介质方面,100T空间容易存储,使用磁盘就可以了,如果对性能有要求就可以通过cache机制,基于SSD或内存来提高性能。 备份方面,使用同样的存储架构,根据容灾要求,存储两个...显示全部

这样的规模和数据,肯定需要分布式存储结构。

目前太深会导致查找的性能不好,是不建议的,建议在三级以内。

在存储介质方面,100T空间容易存储,使用磁盘就可以了,如果对性能有要求就可以通过cache机制,基于SSD或内存来提高性能。

备份方面,使用同样的存储架构,根据容灾要求,存储两个和三个副本,同时考虑异地的情况。

收起
 3天前
浏览118

提问者

colins系统工程师, 金融行业

问题状态

  • 发布时间:6天前
  • 关注会员:8 人
  • 问题浏览:4608
  • 最近回答:3天前
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30