业务需求,存储性能不足,大家有存储或者方案推荐吗?
现在是分布式存储,数据量110TB左右,每年以40TB左右的速度增长
主要是海量小文件组成,文件平均大小为1M左右,文件数量2亿8千万左右!
现在存储的性能和容量都有点跟不上,想换一个存储,大家有好的存储推荐或者好的解决方案吗?
每年40TB,文件大小才1MB,写性能要求并不高。能否同步出读性能。
从整体看,性能要求并不高,应该是现有的分布式系统比较老旧或者存储软件性能不足。
现有的分布式文件和对象应该都能满足你的需求。如果采购,可以参考下华为的OceanStor 9000
推荐EMC ScaleIO,现在这项技术的发展非常快速,在节点扩展、IO保障以及数据安全方面都有很好的进步,并且,据ScaleIO内部消息,在两份数据一份备份的基础上,ScaleIO的功能将加上压缩的功能,在文件的分布式存储上会有很大的提升。随着业务量的增加,我们的工作对存储的要求越来越高,网络带宽和磁盘IO的瓶颈就是限制,10G网络的环境基本满足中小型企业项目环境的业务需求,所以,我们选择推广ScaleIO,来对磁盘IO,也就是节点数增加,来满足更高的需求。
收起性能不足,我觉得可以考虑存储分级了,做个分析,热点数据全放到高性能大存储上,一般数据放到二级性能主流的存储上,冷点数据放到利旧或者NAS上。当然不知你这个具体业务,还有区分冷热点数据是个问题。小文件比较大,可以考虑datadomain这种重复删除起家的存储。
收起