0899-7.1.7-如何在CDP中安装Zeppelin并配置Interpreter
1.安装Zeppelin与参数配置
1.1.添加Zeppelin服务
1.2.安装Livy
1.3.配置Zeppelin
Name : zeppelin.helium.registry
Value : helium
该参数不让zeppelin连接Amazon S3,不加这个参数有可能导致zeppelin重启耗时20分钟左右
Name : zeppelin.notebook.cron.enable
Value : true
该参数是启动zeppelin作业的定时任务
Zeppelin默认的管理权限是admins组,所以用户要加admins组才可以添加和修改interpreter
Spark服务不启用Atlas
Spark的spark.lineage.enabled参数要关闭
3.Zeppelin配置interpreter
3.1.配置Livy的Interpreter
Zeppelin.livy.url 配置安装livy服务的ip
验证%pyspark
创建一个pyspark Note
2.2.配置hive的interpreter
验证%hive
创建一个hive Note
2.3.配置sh的interpreter
验证%sh
创建一个sh Note
2.4.配置python的interpreter
下载zeppelin-python-0.80.0.jar包:下载位置
https://repo1.maven.org/maven2/org/apache/zeppelin/zeppelin-python/0.8.0/zeppelin-python-0.8.0.jar
cd /opt/cloudera/parcels/CDH/lib/zeppelin/interpreter/
mkdir python
将zeppelin-python-0.80.0.jar包放在python目录下面:
配置zeppelin用户的.bash_profile
重启zeppelin服务
让后创建pyton interpreter
验证%python
创建一个python Note
3.常见问题描述和解决办法
3.1.问题1
运行%pyspark报kafkaAadminClient的错,具体如下图:
问题原因:spark开启了spark.lineage.enabled
解决办法:关闭spark.lineage.enabled,重新部署客户端,重启相关服务
3.2.问题2
运行%python的时候报找不到py4j/gatewayserver,具体报错如下图:
问题原因:没有安装py4j的python包
解决办法:在zeppelin的安装节点运行pip install py4j
3.3.问题3
zeppelin使用python时引用的six包和install的版本不一样,具体情况如图:
问题原因:通过zeppelin安装的包不是全局包
解决办法:配置zeppelin的python环境变量,重启zeppelin服务
注:cdp的zeppelin服务不支持impala的interpreter
相关文章
- pycharm怎么装第三方库jieba_pycharm安装配置教程
- pycharm配置qtdesigner_pycharm安装后无解释器
- PyCharm的安装和配置(社区版)「建议收藏」
- 如何安装pycharm_linux配置pycharm
- SVN安装配置以及启动[通俗易懂]
- App逆向 Frida - 夜神模拟器安装配置 基本使用
- 教你如何在Linux 系统安装配置RabbitMQ 集群搭建流程图解
- Ubuntu20.04教你如何安装配置GitLab的方法步骤
- CentOS8.0 安装配置ftp服务器的实现方法
- Linux安装配置DBus总结(linux安装dbus)
- 如何在CentOS 8上使用PHP 7.4安装和配置OpenLiteSpeed
- MySQL在RHEL 6下的安装与配置(mysqlrhel6)
- 最优配置:如何安装多个Linux内存条(linux内存条数)
- Memcache安装配置
- Linux SNMP精解:如何安装与配置(linuxsnmp安装)
- 快速配置Yum安装Mysql(yummysql配置)
- MySQL本地安装与配置指南(本地mysql安装)
- MySQL免费下载及安装步骤 如何下载MySQL汉化包,配置MySQL环境 详细教程及下载地址请戳
- 如何快速配置Redis环境(如何安装配置redis)
- 安装和配置如何安装和配置MySQL一步步指导新手完成MySQL下载后的安装和配置详细说明MySQL的配置方法和参数设置
- 如何配置MySQL数据库(mysql下载与安装后)
- 安装APACHE
- Node.js入门教程:在windows和Linux上安装配置Node.js图文教程