Porn Data Anaylize — Spark安装
2023-06-13 09:17:14 时间
spark默认使用的Python版本为2,可以修改.bashrc文件让spark默认使用python3。修改.bashrc增加如下行:
# anaconda
export ANACONDA_HOME=/home/dbuser/anaconda3/
export PATH=$ANACONDA_HOME:$PATH
# spark
export PYSPARK_PYTHON=/home/dbuser/anaconda3/bin/python3
然后重新启动pyspark就是3了,anaconda下的python文件版本也是2。
如果要用jupyter的方式运行spark,可以通过anaconda来完成,安装完成后使用本地端口没有问题,但是如果要配置允许远程访问以及设置访问密码,需要运行:
jupyter notebook --generate-config
不过如果直接运行和可能会提示:
/bin/bash: jupyter: command not found
这是因为anaconda的bin目录没有加入path,可以通过将/home/dbuser/.local/bin目录加入.bashrc 或者直接通过全路径运行。
!/home/dbuser/.local/bin/jupyter notebook --generate-config
在生成的配置文件中加入如下几行:
c.NotebookApp.ip="*"
c.NotebookApp.allow_remote_access=True
c.NotebookApp.open_browser=False
# passwor=whoami
c.NotebookApp.password="argon2:$argon2id$v=19$m=10240,t=10,p=8$2fROaofTc+MXONw9BE6PxA$6P3Hf4PWBnAWC0dYDn10Cg"
然后执行如下命令即可远程访问jupyter notebook:
export PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
☆文章版权声明☆
* 网站名称:obaby@mars * 网址:https://h4ck.org.cn/ * 本文标题: 《Porn Data Anaylize — Spark安装》 * 本文链接:https://h4ck.org.cn/2020/08/porn-data-anaylize-spark%e5%ae%89%e8%a3%85/ * 转载文章请标明文章来源,原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。
分享文章:
相关文章:
- Porn Data Anaylize — Hadoop安装
- Porn Data Anaylize — 分类数据二次分析
- Porn Data Anaylize — 标签 模特信息分析(github)
- Porn Data Anaylize — TS伪娘 分类数据浅析
- Porn Data Anaylize — AI换脸 分类数据浅析(github)
- Porn Data Anaylize — 视频数据初探
- Porn Data Anaylize — 上传者 分类信息分析(github)
- UnGzip Data(PyQt4) By obaby
- 上一篇文章的代码(开源Github)
- Ubuntu 64bit 安装QQ
相关文章
- Spark pool_spark docker
- C++教程系列之-02-win10系统下codeblocks-20.03下载与安装
- Spark SQL报错:org.apache.spark.sql.catalyst.errors.package$TreeNodeException 排查记录
- 演示Pycharm连接MongoDB数据库安装详细教程
- Spark集群基础概念 与 spark架构原理详解大数据
- Spark源码分析之spark-submit详解大数据
- Spark-Sql源码解析之五 Spark Planner:optimized logical plan –> spark plan详解大数据
- Linux安装 Steam:一步一步迈向游戏世界(linux安装steam)
- Linux系统下的CC安装指南(cclinux安装)
- Linux安装Java JDK指南(linux上安装jdk)
- Linux系统安装引领电脑新体验(电脑上linux系统安装)
- Debian 10使用 Wine 安装配置微信、QQ与TIM
- Oracle安装之路:正确的目录选择(oracle的安装目录)
- 如何快速安装MSSQL数据库(怎么安装mssql)
- Win7中如何成功安装MySQL?(win7下安装mysql)
- 360下载快速,安全安装MySQL(360下载的mysql)
- 发挥Spark火花结合Redis助力大数据分析(spark结合redis)
- Spark高效消费Redis中数据(spark消费redis)
- 基于Spark实现Redis数据库查询(spark查询redis)
- MySQL安装指南详细步骤一网打尽(mysql下载安装详细)
- 解决Mysql下载后安装失败的问题(mysql下载后安装不了)
- Spark与Redis的比较新趋势的精彩发现(spark对比redis)
- CVSNT在Linux下面的安装和配置
- PHP之APC缓存详细介绍apc模块安装