spark有没有开源的应用能直接配置sql进行数据的处理?

spark使用sparksubmit的方式提交任务。它支持sql方式进行数据的处理,大部分是相同的操作,可以进行任提取封装。目前有没有框架将sparksubmit封装,使得jar应用适用于多种情况,简单的配置sql即可执行任务。
一下几个有过了解,但没有深入研究,望帮忙分析一下
kettle:可以对接spark
azkban任务的管理,支持任务定时,任务依赖,任务重跑
Zeppelin是一个Apache的孵化项目。一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档 (类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享)
hue在web页面上进行sparksql操作。Oozie是大数据四大协作框架之一——任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。
Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。

参与6

2同行回答

杨博杨博课题专家组IT顾问某科技公司
1.你既然了解这些,不然后自己装上去试试,体会下和自己需求的切合度。2.目前这几个工具都有一定的公司在使用,应用相对比较多的是HUE, Oozie 。显示全部

1.你既然了解这些,不然后自己装上去试试,体会下和自己需求的切合度。
2.目前这几个工具都有一定的公司在使用,应用相对比较多的是HUE, Oozie 。

收起
互联网服务 · 2019-08-20
浏览1868
shaofengshishaofengshi系统架构师上海跬智
Apache Livy 就是这么一个开源项目,客户端不需要安装 spark 也不需要执行 spark-submit,通过 REST API 提交请求就可以,支持 python,r,sql 等,已经被很多用户使用;更多信息参见:https://livy.apache.org/...显示全部

Apache Livy 就是这么一个开源项目,客户端不需要安装 spark 也不需要执行 spark-submit,通过 REST API 提交请求就可以,支持 python,r,sql 等,已经被很多用户使用;更多信息参见:https://livy.apache.org/

收起
软件开发 · 2019-09-03
浏览1753

提问者

冰玉
数据库开发工程师上海海典

相关问题

相关资料

问题状态

  • 发布时间:2019-08-12
  • 关注会员:3 人
  • 问题浏览:2947
  • 最近回答:2019-09-03
  • X社区推广