业务中有很多场景需要复杂的数据处理,但是现有系统有些支持不住了,想扩容没预算?

我负责公司后端数据处理。每天会为多个部门做业务报表。随着业务越来越多。跑批的时间越来越久,影响正常工作了。但是预算有限没办法再加oracle了。请问下有什么不大动干戈的方案吗?


先谈谈我的想法,我觉得可以采用并行计算的架构来做开发。如果处理业务逻辑使用的是sql,那可以使用hive完美替换现有sql脚本。(hive支持标准sql)。如果使用的业务逻辑是程序执行的。也可以使用mr或spark来编写对应的程序来加速运行速度。将业务流程中的耗时长的任务,迁移到hadoop

集群上。处理完后再通过对应的sqoop导回关系型数据库。

参与4

提问者

ghosthero
其它mb
擅长领域: 服务器中间件需求分析

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-02-15
  • 关注会员:3 人
  • 问题浏览:3959
  • 最近回答:2017-02-16
  • X社区推广