运维人员面对突发性大数据处理应如何应对

当前状态是系统在大部分时间里性能都充分够用,比如是银行报表类系统,APP server CPU 长期保持在30%以下,但在一些互联网的特殊时刻,比如银行有新活动,或者刚过去的双十一、双十二购物狂欢,报表系统都出现了因业务数据量大造成产生报表文件太大太多而 无法处理,CPU也会长期保持在70%左右的情况且会每日增加,往往需要运维人员在后台查找过大的报表文件,先移出或分解成小文件后逐个处理才能完成,在这个情况下银行肯定是不愿意因为偶然情况去多增加硬件投资,如果仅仅是报表业务还好,但若是交易类关键业务则会造成严重影响。这种情况下作为运维人员在现有资源下有没有什么好的解决方法?

参与10

2同行回答

happy1happy1系统架构师git
你们现有的方法就是很好的解决方案。(往往需要运维人员在后台查找过大的报表文件,先移出或分解成小文件后逐个处理才能完成)。把上述大拆小操作形成一个规范化的操作步骤,或者在报表系统应用中增加相应处理模式。基于报表系统的非实时性,稍微晚一点出结果是可以接受的。至于实...显示全部

你们现有的方法就是很好的解决方案。(往往需要运维人员在后台查找过大的报表文件,先移出或分解成小文件后逐个处理才能完成)。

把上述大拆小操作形成一个规范化的操作步骤,或者在报表系统应用中增加相应处理模式。基于报表系统的非实时性,稍微晚一点出结果是可以接受的。


至于实时性的系统,流量控制之类也算临时的解决办法,让系统在最大负荷下工作且不至于被拖垮。

根本解决之道,还是弹性,通过构建企业全局资源池的弹性,在高峰时段让非关键业务降级,同时将资源池冗余资源投入使用。

收起
互联网服务 · 2015-12-23
浏览2600
gaopingaopin产品经理新云东方
这是先天性病,想解决还是需要从基础软件和基础硬件解决。下次建议采购方法,直接把5年后的计算量采购出来。个人理解显示全部

这是先天性病,想解决还是需要从基础软件和基础硬件解决。下次建议采购方法,直接把5年后的计算量采购出来。

个人理解

收起
硬件生产 · 2015-12-23
浏览2174

提问者

张泽翰
系统工程师北京南天
擅长领域: 服务器AIXUnix

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-12-23
  • 关注会员:3 人
  • 问题浏览:6235
  • 最近回答:2015-12-23
  • X社区推广