我负责公司后端数据处理。每天会为多个部门做业务报表。随着业务越来越多。跑批的时间越来越久,影响正常工作了。但是预算有限没办法再加oracle了。请问下有什么不大动干戈的方案吗?
先谈谈我的想法,我觉得可以采用并行计算的架构来做开发。如果处理业务逻辑使用的是sql,那可以使用hive完美替换现有sql脚本。(hive支持标准sql)。如果使用的业务逻辑是程序执行的。也可以使用mr或spark来编写对应的程序来加速运行速度。将业务流程中的耗时长的任务,迁移到hadoop
集群上。处理完后再通过对应的sqoop导回关系型数据库。