zl程序教程

您现在的位置是:首页 >  Python

当前栏目

0901-安装Python3.8

2023-02-18 16:29:01 时间

CDP7.1.8及更高版本中Hue使用Python3环境,因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或MariaDB数据库安装相应的驱动包,确保Hue通过驱动包可以正常的访问数据库,如下操作步骤主要基于CentOS7版本:

1.在集群所有节点执行如下命令安装操作系统依赖包

yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel -y

2.Python3的环境基于Anaconda官网提供的Anaconda3的parcel包来进行部署,获取方式如下

https://repo.anaconda.com/pkgs/misc/parcels/Anaconda3-2021.05-el7.parcel
https://repo.anaconda.com/pkgs/misc/parcels/Anaconda3-2021.05-el7.parcel.sha
https://repo.anaconda.com/pkgs/misc/parcels/manifest.json

Repository的部署方式参考2.5.1章节Spark Parcel包的部署方式,这里Anaconda不是服务只是Python3环境因此不涉及到CSD文件。通过Cloudera Manager将Anaconda Parcel包下载、分发并激活即可。

3.停止Hue服务并在”Hue Service Environment Advanced Configuration Snippet (Safety Valve)”配置项下添加如下配置

Key : PATH
Value: /opt/cloudera/parcels/Anaconda3/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin

4.登录到Hue服务所在节点,根据自己连接数据库的类型执行相应的指令安装驱动包

  • • PostgreSQL数据库
yum install -y centos-release
yum install -y centos-release-scl
yum install -y xmlsec1  xmlsec1-openssl
## 安装与数据库版本对应的rh-postgresql-postgresql-devel包
yum install -y rh-postgresql[***DB-VERSION***]-postgresql-devel
## 配置环境变量
export PATH=/opt/rh/rh-postgresql[***DB-VERSION***]/root/usr/bin:$PATH

通过如下地址获取psycopg2 Python3的安装包

https://pypi.org/project/psycopg2/2.9.3/#files

将获取的源码包,上传至Hue服务所在节点解压并安装,命令如下

tar -zxvf psycopg2-2.9.3.tar.gz
cd psycopg2-2.9.3
/opt/cloudera/parcels/Anaconda3/bin/python setup.py install
  • • MySQL和MariaDB数据库

安装操作系统层面的MySQL驱动包

yum install -y mysql-devel xmlsec1  xmlsec1-openssl

安装操作系统层面MariaDB驱动包

yum install -y xmlsec1  xmlsec1-openssl

通过如下地址获取mysqlclient Python3的安装包

https://pypi.org/project/mysqlclient/#files

将获取的源码包,上传至Hue服务所在节点解压并安装,命令如下

tar -zxvf mysqlclient-2.1.1.tar.gz
cd mysqlclient-2.1.1
/opt/cloudera/parcels/Anaconda3/bin/python setup.py install