cleversafe处理海量小文件适用吗?

从cleversafe的技术说明来看。是将一个文件分成若干切片分散存储,但是对于一些海量的小文件。每个文件只有几百K的小文件存档。比如档案,公文一类的非结构化数据,cleversafe适用吗?显示全部

从cleversafe的技术说明来看。是将一个文件分成若干切片分散存储,但是对于一些海量的小文件。每个文件只有几百K的小文件存档。比如档案,公文一类的非结构化数据,cleversafe适用吗?

收起
参与10

查看其它 1 个回答ibmfuqiang的回答

ibmfuqiangibmfuqiang系统架构师IBM

可以的。只要您的数据和文档是非结构化的类型,同时对实时性能要求不高。
ibm cos的切片是以4MB为一个基础单位的,如果不够它的算法会先聚合,然后再切片加上离散纠删码算法冗余后平均分配存放在所有存储节点上。 具体原理,如下图:
Jietu20171122-142210.jpg

Jietu20171122-142210.jpg

Jietu20171122-142232.jpg
Jietu20171122-142232.jpg

系统集成 · 2017-11-22
浏览1738

回答者

ibmfuqiang
系统架构师IBM
擅长领域: 存储灾备分布式架构

ibmfuqiang 最近回答过的问题

回答状态

  • 发布时间:2017-11-22
  • 关注会员:3 人
  • 回答浏览:1738
  • X社区推广