centos7下安装pyspark
2024-10-02 08:04:04
1、安装python
2、安装jdk
3、下载spark：http://spark.apache.org/downloads.html, 下载新版（spark-2.3.1-bin-hadoop2.7.tar)
4、解压到合适的目录，我放在了/usr/lyl/spark下,采用的命令为：tar zxvf usr/lyl/spark-2.3.1-bin-hadoop2.7.tar usr/lyl/spark
5、在 /etc/profile 下配置环境变量，即加入以下：
export SPARK_HOME=/usr/lyl/spark-2.3.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
6、source /etc/profile
7、输入命令：pyspark，查看pyspark是否启动。如看到以下界面，即安装成功。
最新文章
- 翻书插件：bookblock.js
- OData V4 系列 查询操作
- 一篇介绍java与js操作cookie的
- JDK、JRE、JVM三者间的关系
- AngularJS中的事件
- MVC————扩展方法MvcHtmlString
- BigPipe学习研究
- Mvc 拼接Html 导出 Excel（服务器不用安装呦！支持2007以上版本）
- 部署时，出现用户代码未处理 System.Security.Cryptography.CryptographicException 错误解决方法
- Server2003系统上的内置服务器设置某类IP无法访问问题
- C++语言中cin cin.getline cin.get getline gets getchar 的用法实例
- java浮点型比较大小
- vs2015打开cshtml文件失败的解决方法
- Session是否为新建情况的判断
- Vista 及后续版本的新线程池
- 3 Steps to Perform SSH Login Without Password Using ssh-keygen & ssh-copy-id
- Netty入门（一）：零基础“HelloWorld”详细图文步骤
- 正则表达式与Python中re模块的使用
- hadoop基础与实践--流程解惑
- Linux系统加固