备份业务产生的海量小文件,把机器内存耗尽了,这个问题如何解决?

服务器和客户端是同一台机器,配置较低。业务每天产生大量小文件,备份时把机器内存耗尽。

参与25

6同行回答

Jerry MikuJerry Miku其它The Global 500
将小文件以一定规则分目录存放,然后备份前对需要的目录打包,备份tar包的速度会提高,消耗的资源也少,备份完成后可以删除tar包。这是一个比较折中的办法了,对于海量小文件的备份,行业内都没有比较好的解决方案。...显示全部

将小文件以一定规则分目录存放,然后备份前对需要的目录打包,备份tar包的速度会提高,消耗的资源也少,备份完成后可以删除tar包。


这是一个比较折中的办法了,对于海量小文件的备份,行业内都没有比较好的解决方案。

收起
IT其它 · 2017-01-04
浏览2464
pysx0503pysx0503系统工程师第十区。散人
我在用的是tsm5.5,个人感觉是比较消耗资源的,况且对海量小文件的备份本来就没有什么好的解决方式,你的机器配置是什么的?显示全部

我在用的是tsm5.5,个人感觉是比较消耗资源的,况且对海量小文件的备份本来就没有什么好的解决方式,你的机器配置是什么的?

收起
系统集成 · 2017-01-04
浏览2396
powertiandipowertiandi联盟成员系统架构师李宁(中国)体育用品有限公司
打铁还需自身硬,把服务器自身硬件还是要有一定的保证。至于对海量小文件的备份优化力度不大,基于日志引擎的可以考虑。lanfree 对于小文件起不到多好的效果。显示全部

打铁还需自身硬,把服务器自身硬件还是要有一定的保证。至于对海量小文件的备份优化力度不大,基于日志引擎的可以考虑。

lanfree 对于小文件起不到多好的效果。

收起
互联网服务 · 2017-01-05
浏览2365
wangqlwangql系统工程师NULL
小文件的备份本身就比较麻烦。海量的小文件多到一定程度,参数调优效果不大。1. 使用分目录打包的方式。ttkanni兄提到的就非常好2. 基于日志引擎的备份3. 直接做基于卷的备份。4. 使用lan备份,别用lanfree另外v5版本的引擎还是不行,升级到v6或v7吧。这一周的切身感受,删了1周...显示全部

小文件的备份本身就比较麻烦。海量的小文件多到一定程度,参数调优效果不大。

1. 使用分目录打包的方式。ttkanni兄提到的就非常好

2. 基于日志引擎的备份

3. 直接做基于卷的备份。

4. 使用lan备份,别用lanfree

另外v5版本的引擎还是不行,升级到v6或v7吧。这一周的切身感受,删了1周半小文件。

收起
IT咨询服务 · 2017-01-04
浏览2437
yujin2010goodyujin2010good系统工程师大型零售巨头
建议先打包,在备份,最简单直接的方法显示全部

建议先打包,在备份,最简单直接的方法

收起
互联网服务 · 2017-01-05
浏览2339
haomao1879haomao1879系统分析师神码
你什么操作系统,把vmo里面的文件缓存设小点!显示全部

你什么操作系统,把vmo里面的文件缓存设小点!

收起
系统集成 · 2017-01-04
浏览2396

提问者

lhb
系统工程师kimo
擅长领域: 服务器UnixAIX

问题来自

相关问题

相关文章

问题状态

  • 发布时间:2017-01-04
  • 关注会员:8 人
  • 问题浏览:7153
  • 最近回答:2017-01-05
  • X社区推广