spark-submit之使用pyspark

在linux下，执行pyspark代码 —— 实测有效：但是并不是所有的包都能够成功，一些很复杂的包或者对C依赖很深的包例如 numpy, pandas, scipy等，无法通过本方法实现，实现可以参考https://www.cnblogs.com/qi-yuan-008/p/12199152.html；对一些比较简单的第三方site-packages包，本方法则可以实现。

1. 安装pycharm或者spyder，然后在其中编写代码和执行语句

2. 通过job来提交，即spark-submit提交，下面主要讲这种方法

首先假设，自己写的 *.py 文件包含了这些包，即通过import导入

import os

from pyspark import SparkContext

from pyspark.sql.session import SparkSession

from pyspark.sql import HiveContext

import jieba

from collections import Counter

from operator import itemgetter

import time

import ast

from pyspark.sql.types import StructField, StructType, StringType

from pyspark.sql import SQLContext

3. 那么利用spark-submit提交时，就需要将需要的包全部打包在一个zip文件中，注意的是：需要的包要先在同一个目录下，然后在该目录一起打包成zip文件，例如在有以上包的情形下，可以：

第一：建立一个文件夹，来存放所有包：

mkdir lib_words

第二：复制所需的包（一般都在python的安装目录的lib下，其中第三方库在site-packages里面）到该文件夹下，因为一个个选比较麻烦，所以就一起打包了，但是并未复制和打包pyspark库的包

cp -r /usr/local/python3.7/lib/python3.7/* /home/lib_words

cp -r /usr/local/python3.7/lib/python3.7/site-packages/* /home/lib_words

第三：打包zip

zip -r /home/lib_words.zip ./*

4. 在命令行，使用spark-submit提交 *.py主文件，并使用参数 '--py-files' 导入zip文件，然后回车执行

spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py --py-files='/home/lib_words.zip'

附加：首先通过在程序里面直接写入pyFiles参数（在SparkContext的参数中），然后直接提交运行：spark-submit /home/pycharm_projects/cut_words/cut_words_fre.py，实测也可

pyFiles=["/home/lib_words.zip"]#压缩的包的所在路径，可行

#pyFiles=["/home/test1.py","/home/test2.py"] #据说也可，但是因为文件太多，没有测试

sc = SparkContext('local', 'test', pyFiles=pyFiles)

结果最后，其中有一行会出现：

19:55:06 INFO spark.SparkContext: Successfully stopped SparkContext

附加2：通过 sc.addPyFile 方法也可以实现 （推荐）

sc = SparkContext('local', 'test')

sc.addPyFile(r'/root/test_words/lib_words.zip')

注：如果只有pyspark的包，可能不需要加入 *.zip 文件（未测试）

参考：

https://blog.csdn.net/lmb09122508/article/details/84586947

https://blog.csdn.net/MrLevo520/article/details/86738109

https://blog.csdn.net/qq_23860475/article/details/90479702

巴特西

spark-submit之使用pyspark

最新文章

热门文章