业务需求,存储性能不足,大家有存储或者方案推荐吗?

业务需求,存储性能不足,大家有存储或者方案推荐吗?
现在是分布式存储,数据量110TB左右,每年以40TB左右的速度增长
主要是海量小文件组成,文件平均大小为1M左右,文件数量2亿8千万左右!

现在存储的性能和容量都有点跟不上,想换一个存储,大家有好的存储推荐或者好的解决方案吗?

13回答

孙伟光孙伟光  IT顾问 , 中国金融电子化公司
zhuhaiqiangyinxinlc905等赞同了此回答
请问业务是什么应用场景?现在用的什么存储,每年数据增长很快啊.显示全部

请问业务是什么应用场景?现在用的什么存储,每年数据增长很快啊.

收起
 2017-07-12
浏览2620
  • 现在是档案管理系统!现在用的是国内的一家分布式存储,数据量和增长速度都是非常的快啊!
    2017-07-13
  • 某国字号单位的黄总,贵单位的数据量好惊人哦!
    2017-07-21
  • yongke  yongke 回复 penguin23
    欢迎取笑我,,毛想口刁你。。。
    2017-07-27
feidaodaofeidaodao  系统运维工程师 , GA
erichanaixchinaaixkevin等赞同了此回答
什么业务类型?每年40t这么高,应该不会是互联网企业吧,那些都是pb级了猜测。。。 分布式存储现在解决不了你的性能问题(不知道优化原因还是你的数据本身就需要高读写?),全ssd我觉得也不现实,能否从需求端考虑呢。。。 1是什么样的文件,能压缩保存不?---减少容量2考虑数据按年分层存...显示全部

什么业务类型?每年40t这么高,应该不会是互联网企业吧,那些都是pb级了猜测。。。

分布式存储现在解决不了你的性能问题(不知道优化原因还是你的数据本身就需要高读写?),全ssd我觉得也不现实,能否从需求端考虑呢。。。

1是什么样的文件,能压缩保存不?---减少容量
2考虑数据按年分层存储不?---得看实际业务需求

收起
 2017-07-12
浏览2304
  • 档案管理系统来的,现在性能还是可以的,但是数据量还有不停的增长,目前的存储可能在以后的一年内就难以支撑了!现在的问题是,元数据量大,双机恢复时间要4、5小时,问题也挺多的,所以想换一个存储来解决这些问题
    2017-07-13
  • 我们上了一个影像检索系统!后续数据会分层存储了。
    2017-09-19
匿名用户匿名用户
aixchinapenguin23黄建亮等赞同了此回答
针对你提的这个问题,收集了一些大家对这种情况的方案建议,供你参考。 1、分布式存储,全用SSD。2、换成对象存储。3、没啥太好的解决方法,小文件ssd固态能提升速度,但是你的容量太大了。4、既然是分布式存储,那就扩节点。5、多配点热点盘,提高IO性能,已经写进来的数据自动导入普通...显示全部

针对你提的这个问题,收集了一些大家对这种情况的方案建议,供你参考。

1、分布式存储,全用SSD。
2、换成对象存储。
3、没啥太好的解决方法,小文件ssd固态能提升速度,但是你的容量太大了。
4、既然是分布式存储,那就扩节点。
5、多配点热点盘,提高IO性能,已经写进来的数据自动导入普通硬盘降低成本。
6、你要保证数据的安全性,还是首选san。分布式IP很浪费的,100T网络肯定要独立出来,成本也不低。除非用容量节点做。

收起
 2017-07-12
浏览2323
LJLJLJLJ  系统工程师 , IDN
erichanaixchinadanji0522等赞同了此回答
数据量不算大,档案管理的话,IO 延时要求不会太高,适NAS类或分布式存储。可以参考1EMC Isilon,大型Nas,Nas市场王者。扩容为简单的增加节点。2EMC scaleIO ,大型分布式节点存储。扩容为简单的增加节点。...显示全部

数据量不算大,档案管理的话,IO 延时要求不会太高,适NAS类或分布式存储。
可以参考
1EMC Isilon,大型Nas,Nas市场王者。扩容为简单的增加节点。
2EMC scaleIO ,大型分布式节点存储。扩容为简单的增加节点。

收起
 2017-07-14
浏览2095
mmsc5166mmsc5166  系统工程师 , 某金融公司信息技术中心
aixchina墨墨hebingbingsx等赞同了此回答
性能不足,我觉得可以考虑存储分级了,做个分析,热点数据全放到高性能大存储上,一般数据放到二级性能主流的存储上,冷点数据放到利旧或者NAS上。当然不知你这个具体业务,还有区分冷热点数据是个问题。小文件比较大,可以考虑datadomain这种重复删除起家的存储。...显示全部

性能不足,我觉得可以考虑存储分级了,做个分析,热点数据全放到高性能大存储上,一般数据放到二级性能主流的存储上,冷点数据放到利旧或者NAS上。当然不知你这个具体业务,还有区分冷热点数据是个问题。小文件比较大,可以考虑datadomain这种重复删除起家的存储。

收起
 2017-07-17
浏览2033
penguin23penguin23  系统运维工程师 , 广州佳杰科技有限公司
aixchinahebingbingsxaixkevin赞同了此回答
黄总监,个人鄙见:1、重新设计并开发业务系统; 国字号的业务系统都用得很老套的技术的。你懂得! 2、可参考本帖子大神的建议哦!EMC scaleIO~~。显示全部

黄总监,个人鄙见:
1、重新设计并开发业务系统; 国字号的业务系统都用得很老套的技术的。你懂得!

2、可参考本帖子大神的建议哦!EMC scaleIO~~。

收起
 2017-07-21
浏览1934
ljw794189449ljw794189449  系统运维工程师 , ITHome只为科技
aixchinahebingbingsxaixkevin赞同了此回答
推荐EMC ScaleIO,现在这项技术的发展非常快速,在节点扩展、IO保障以及数据安全方面都有很好的进步,并且,据ScaleIO内部消息,在两份数据一份备份的基础上,ScaleIO的功能将加上压缩的功能,在文件的分布式存储上会有很大的提升。随着业务量的增加,我们的工作对存储的要求越来越高,网...显示全部

推荐EMC ScaleIO,现在这项技术的发展非常快速,在节点扩展、IO保障以及数据安全方面都有很好的进步,并且,据ScaleIO内部消息,在两份数据一份备份的基础上,ScaleIO的功能将加上压缩的功能,在文件的分布式存储上会有很大的提升。随着业务量的增加,我们的工作对存储的要求越来越高,网络带宽和磁盘IO的瓶颈就是限制,10G网络的环境基本满足中小型企业项目环境的业务需求,所以,我们选择推广ScaleIO,来对磁盘IO,也就是节点数增加,来满足更高的需求。

收起
 2017-07-19
浏览2534
HYBTHYBT  系统工程师 , 存储技术有限公司
aixchinaaixkevin赞同了此回答
根据你的业务类型应该是非结构化数据,建议使用EMC SCALEIO 对象存储功能显示全部

根据你的业务类型应该是非结构化数据,建议使用EMC SCALEIO 对象存储功能

收起
 2017-07-18
浏览1991
张文正张文正  系统工程师 , 神州数码系统集成服务有限公司
aixkevin赞同了此回答
这种情况下,建议采用闪存比较合适,如果还想对原来的存储进行利旧,采用v9000或者svc都可以!显示全部

这种情况下,建议采用闪存比较合适,如果还想对原来的存储进行利旧,采用v9000或者svc都可以!

收起
 2017-07-17
浏览2028
匿名用户匿名用户
每年40TB,文件大小才1MB,写性能要求并不高。能否同步出读性能。从整体看,性能要求并不高,应该是现有的分布式系统比较老旧或者存储软件性能不足。现有的分布式文件和对象应该都能满足你的需求。如果采购,可以参考下华为的OceanStor 9000...显示全部

每年40TB,文件大小才1MB,写性能要求并不高。能否同步出读性能。
从整体看,性能要求并不高,应该是现有的分布式系统比较老旧或者存储软件性能不足。
现有的分布式文件和对象应该都能满足你的需求。如果采购,可以参考下华为的OceanStor 9000

收起
 2019-11-23
浏览79

提问者

yongke系统运维工程师, 学生

问题状态

  • 发布时间:2017-07-12
  • 关注会员:16 人
  • 问题浏览:7005
  • 最近回答:2019-11-23
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30