spark有没有开源的应用能直接配置sql进行数据的处理?

spark使用sparksubmit的方式提交任务。它支持sql方式进行数据的处理,大部分是相同的操作,可以进行任提取封装。目前有没有框架将sparksubmit封装,使得jar应用适用于多种情况,简单的配置sql即可执行任务。
一下几个有过了解,但没有深入研究,望帮忙分析一下
kettle:可以对接spark
azkban任务的管理,支持任务定时,任务依赖,任务重跑
Zeppelin是一个Apache的孵化项目。一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档 (类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享)
hue在web页面上进行sparksql操作。Oozie是大数据四大协作框架之一——任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。
Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。

参与6

提问者

冰玉
数据库开发工程师上海海典

相关问题

相关资料

问题状态

  • 发布时间:2019-08-12
  • 关注会员:3 人
  • 问题浏览:2972
  • 最近回答:2019-09-03
  • X社区推广