cleversafe处理海量小文件适用吗?

从cleversafe的技术说明来看。是将一个文件分成若干切片分散存储,但是对于一些海量的小文件。每个文件只有几百K的小文件存档。比如档案,公文一类的非结构化数据,cleversafe适用吗?

参与10

2同行回答

docdoc  项目经理 , 长春理想
平时工作中小文件的存取速度都是比较慢,能否先压缩成大文件再切片处理。显示全部

平时工作中小文件的存取速度都是比较慢,能否先压缩成大文件再切片处理。

收起
系统集成 · 2017-11-22
浏览1671
ibmfuqiangibmfuqiang  系统架构师 , IBM
可以的。只要您的数据和文档是非结构化的类型,同时对实时性能要求不高。ibm cos的切片是以4MB为一个基础单位的,如果不够它的算法会先聚合,然后再切片加上离散纠删码算法冗余后平均分配存放在所有存储节点上。 具体原理,如下图:Jietu20171122-142210.jpgJietu20171122-142232....显示全部

可以的。只要您的数据和文档是非结构化的类型,同时对实时性能要求不高。
ibm cos的切片是以4MB为一个基础单位的,如果不够它的算法会先聚合,然后再切片加上离散纠删码算法冗余后平均分配存放在所有存储节点上。 具体原理,如下图:
Jietu20171122-142210.jpg

Jietu20171122-142210.jpg

Jietu20171122-142232.jpg
Jietu20171122-142232.jpg

收起
系统集成 · 2017-11-22
浏览1708

提问者

pysx0503
pysx0503153369
系统工程师第十区。散人
擅长领域: 存储备份服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-11-22
  • 关注会员:3 人
  • 问题浏览:4187
  • 最近回答:2017-11-22
  • X社区推广