hue怎么直接操作spark sql

Question

如题所述

Answer 1

可以用notebook，需要安装一个livy server作为spark sql server,在notebook上支持hive,spark,R等

在这上面使用spark的话，跟后台通过spark调命令行差不多

可以去其官网看一下例子。

Answer 2

Hue在提交并执行作业的时候使用的是Oozie和Livy服务器，将Hue做为一个client进行开发，将封装好的数据通过RestApi发送给两种服务器进行作业的提交，执行和管理。
但是相较于Oozie，Livy并不包含DAG图，所以在执行Spark作业的时候多节点直接可能无法产生依赖，无法保证执行的次序。目前调研看来，Spark作业最好为单节点，或者无依赖的链表形式执行。