在Windows中安装PySpark环境

安装Python

可以选择安装官方版本的Python，或是Anaconda，对应的地址如下。

下载地址

Python：https://www.python.org/

Anaconda： https://www.anaconda.com/download/#windows

MiniConda：https://docs.conda.io/en/latest/miniconda.html

安装Java运行环境

下载地址

在线安装包： https://www.java.com/en/download/

离线安装包：https://www.java.com/zh-CN/download/windows_offline.jsp

下载Spark和winutils工具

由于Hadoop开发是针对类Unix系统的，所以在Windows平台中没有原生的Hadoop安装包，但可以通过winutils工具作为替代。

spark下载地址: http://spark.apache.org/downloads.html
winutils下载地址: https://github.com/steveloughran/winutils

解压spark，将winutils拷贝到解压目录的bin目录下，如下动态图所示。

配置环境变量

添加环境变量 HADOOP_HOME

变量值是安装Spark的目录，如 E:\spark\spark-3.1.2-bin-hadoop2.7\
添加环境变量SPARK_HOME

变量值是安装Spark的目录，如 E:\spark\spark-3.1.2-bin-hadoop2.7\
将Spark安装目录添加环境变量中

将Spark安装目录bin文件夹添加到path变量中 E:\spark\spark-3.1.2-bin-hadoop2.7\bin

配置的过程如下动态图所示。

使用spark-shell

安装配置完毕后，对Spark Shell使用，以验证成功的安装。

打开spark-shell2.cmd，输入以下的scala命令。

打开一个Power Shell，然后输入命令：spark-shell2.cmd

scala> 1 + 1

scala> println("Hello World!")

var myVar : String = "hello"

操作如下动态图所示。

使用pyspark-shell

打开 pyspark2.cmd，输入以下Python命令。

打开一个Power Shell，然后输入命令：pyspark2.cmd

from datetime import datetime, date

import pandas as pd

from pyspark.sql import Row

df = spark.createDataFrame([

    Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),

    Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),

    Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))

])

df.printSchema()

操作如下动态图所示。

使用sparkR-shell

打开 sparkR2.cmd，输入以下R语言命令。

打开一个Power Shell，然后输入命令：sparkR2.cmd

emp.data <- data.frame(

   emp_id = c (1:5),

   emp_name = c("Rick","Dan","Michelle","Ryan","Gary"),

   salary = c(623.3,515.2,611.0,729.0,843.25),

   start_date = as.Date(c("2012-01-01", "2013-09-23", "2014-11-15", "2014-05-11","2015-03-27")),

   stringsAsFactors = FALSE

)

df <- createDataFrame(emp.data)

操作如下动态图所示。

巴特西

在Windows中安装PySpark环境

在Windows中安装PySpark环境

安装Python

安装Java运行环境

下载Spark和winutils工具

配置环境变量

使用spark-shell

使用pyspark-shell

使用sparkR-shell

最新文章

热门文章