业务中有很多场景需要复杂的数据处理,但是现有系统有些支持不住了,想扩容没预算?

我负责公司后端数据处理。每天会为多个部门做业务报表。随着业务越来越多。跑批的时间越来越久,影响正常工作了。但是预算有限没办法再加oracle了。请问下有什么不大动干戈的方案吗?


先谈谈我的想法,我觉得可以采用并行计算的架构来做开发。如果处理业务逻辑使用的是sql,那可以使用hive完美替换现有sql脚本。(hive支持标准sql)。如果使用的业务逻辑是程序执行的。也可以使用mr或spark来编写对应的程序来加速运行速度。将业务流程中的耗时长的任务,迁移到hadoop

集群上。处理完后再通过对应的sqoop导回关系型数据库。

参与4

1同行回答

徐原徐原存储架构师IBM
谈到了数据库的加速问题我来说下看法,跑批的时间越来越久,影响正常工作了除了数据库语句写的有问题或是业务逻辑需要改善之外,很大程度上是因为存储 IO 是瓶颈,根据我对几百个数据库系统的性能分析来看,IO 瓶颈占了绝大多数,通过我们的工具对 AWR 分析,可以很快定位问题所在。除...显示全部

谈到了数据库的加速问题我来说下看法,跑批的时间越来越久,影响正常工作了除了数据库语句写的有问题或是业务逻辑需要改善之外,很大程度上是因为存储 IO 是瓶颈,根据我对几百个数据库系统的性能分析来看,IO 瓶颈占了绝大多数,通过我们的工具对 AWR 分析,可以很快定位问题所在。除了数据库语句优化外,采用闪存IBM  F900是最立竿见影的解决方案,有很多案例是上线后提升性能5倍以上。

收起
系统集成 · 2017-02-16
浏览1473

提问者

ghosthero
其它mb
擅长领域: 服务器中间件需求分析

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-02-15
  • 关注会员:3 人
  • 问题浏览:3945
  • 最近回答:2017-02-16
  • X社区推广