spark有没有开源的应用能直接配置sql进行数据的处理?

spark使用sparksubmit的方式提交任务。它支持sql方式进行数据的处理,大部分是相同的操作,可以进行任提取封装。目前有没有框架将sparksubmit封装,使得jar应用适用于多种情况,简单的配置sql即可执行任务。一下几个有过了解,但没有深入研究,望帮忙分析一下kettle:可以对接sparkazk...显示全部

spark使用sparksubmit的方式提交任务。它支持sql方式进行数据的处理,大部分是相同的操作,可以进行任提取封装。目前有没有框架将sparksubmit封装,使得jar应用适用于多种情况,简单的配置sql即可执行任务。
一下几个有过了解,但没有深入研究,望帮忙分析一下
kettle:可以对接spark
azkban任务的管理,支持任务定时,任务依赖,任务重跑
Zeppelin是一个Apache的孵化项目。一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档 (类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享)
hue在web页面上进行sparksql操作。Oozie是大数据四大协作框架之一——任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。
Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。

收起
参与6

查看其它 1 个回答杨博的回答

杨博杨博课题专家组IT顾问某科技公司

1.你既然了解这些,不然后自己装上去试试,体会下和自己需求的切合度。
2.目前这几个工具都有一定的公司在使用,应用相对比较多的是HUE, Oozie 。

互联网服务 · 2019-08-20
浏览1869

回答者

杨博
IT顾问某科技公司
擅长领域: 数据库服务器人工智能

杨博 最近回答过的问题

回答状态

  • 发布时间:2019-08-20
  • 关注会员:3 人
  • 回答浏览:1869
  • X社区推广