从cleversafe的技术说明来看。是将一个文件分成若干切片分散存储,但是对于一些海量的小文件。每个文件只有几百K的小文件存档。比如档案,公文一类的非结构化数据,cleversafe适用吗?
平时工作中小文件的存取速度都是比较慢,能否先压缩成大文件再切片处理。
可以的。只要您的数据和文档是非结构化的类型,同时对实时性能要求不高。ibm cos的切片是以4MB为一个基础单位的,如果不够它的算法会先聚合,然后再切片加上离散纠删码算法冗余后平均分配存放在所有存储节点上。 具体原理,如下图:
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30