0867-7.1.6-Hue中Spark Notebook与Livy集成问
2023-04-18 14:11:05 时间
1.文档编写目的
本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。
- 文档概述
1.Spark Notebook集成Livy
2.验证
3.总结
- 测试环境
1.操作系统Redhat7.6
2.CDP7.1.6
3.使用root用户操作
4.集群已启用Kerberos
2.修改配置
1.修改Hue的源码(Hue Server节点的都进行修改)
[root@c1 ~]# cd /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/lib/rest/
[root@c1 rest]# vim resource.py
因为kind 类型只支持spark/pyspark/sparkr/sql,所以在该文件的1045行后添加如下代码
if isinstance(data,str):
data=data.replace('sparksql', 'sql')
LOG.exception('--------tpl data %s' % data)
LOG.exception('--------tpl data type %s' % type(data))
2.修改Livy的配置
在Livy的配置页面搜索livy_spnego_enabled,关闭Livy的HTTP Kerberos
3.启用Livy的用户模拟功能
在Livy的配置页面搜索livy.impersonation.enabled
4.修改Hue配置
5.在Hue的配置中搜索hue_server_hue_safety_valve,在配置中添加如下内容
[desktop]
app_blacklist=zookeeper,oozie,jobsub,pig,pig,sqoop,security
[spark]
livy_server_host=c1.liuhao.com
livy_server_port=8998
livy_server_session_kind=yarn
sql_server_host=c1.liuhao.com
#sql_server_port 需要的原因是sparksql 需要使用该端口
sql_server_port=10090
#security_enabled=true
[notebook]
show_notebooks=true
enable_external_statements=true
enable_batch_execute=true
[[interpreters]]
# Define the name and how to connect and execute the language.
[[[hive]]]
# The name of the snippet.
name=Hive
# The backend connection to use to communicate with the server.
interface=hiveserver2
[[[impala]]]
name=Impala
interface=hiveserver2
[[[sparksql]]]
name=SparkSql
interface=livy
[[[spark]]]
name=Spark
interface=livy
[[[pyspark]]]
name=PySpark
interface=livy
[[[r]]]
name=R
interface=livy
[[[jar]]]
name=Spark Submit Jar
interface=livy-batch
6.修改Hue的配置
在Hue的配置中搜索hive-site.xml,添加如下配置设置访问hive的方式为Kerberos
<property><name>hive.server2.authentication</name><value>KERBEROS</value></property>
7.重启过时服务
3.验证
进入Hue的Web UI页面,执行一条Spark SQL语句
4.总结
1.Hue本身是模拟用户来执行的, 再通过安全认证的方式访问Livy再去让Livy模拟用户,这样就会导致一个问题, Livy只会认为你是Hue用户,而又要让Hue用户去模拟其他的用户,最终提示模拟不了的问题,所以要关闭Livy的HTTP Kerberos认证。
相关文章
- 中国移动王晓云:SBA架构是5G重要的标志性创新,也将成为6G的基石
- 首届SHIFT数字化转型峰会开幕,第四范式发布4Paradigm Shift企业转型平台及服务
- 数据闭环研究:自动驾驶发展从技术驱动转向数据驱动
- Github七月超热AI项目榜单还有续集!女娲无限版只能排第3?
- GitLab禁止员工使用Windows、推特确认540万账户数据泄露、淘宝宣布上线方言语音搜功能 | T资讯
- 一文聊聊自动驾驶决策系统
- 非科班AI小哥火了:他没有ML学位,却拿到DeepMind的offer
- 量子算法征服了一种新的问题!
- AISummit 顺利开幕:首日精彩回顾
- 再见!英特尔宣布将彻底关停这项业务
- Nature子刊:AI算法破解癌细胞基因特征,准确率可达99%!
- 客户端单元测试实践-C++篇
- 听声辨物,这是AI视觉该干的???
- Github突遭大规模恶意攻击,大量加密密钥可能泄露!
- UiPath荣获《Gartner 2022年机器人流程自动化魔力象限报告》领导者称号
- 2022年服贸会电信、计算机和信息服务专题展 媒体通气会在京召开
- 苹果开发「AI 建筑师」GAUDI:根据文本生成超逼真 3D 场景!
- 参数量仅0.5B,谷歌代码补全新方法将内部生产效率提升6%
- 15年软件架构师经验总结:在ML领域,初学者踩过的五个坑
- Linux 5.19 正式发布!这次用的竟然是 MacBook.....