Spark教程——（3）编写spark-shell测试Demo

创建一个文件aa.txt，随便写点内容：

hello world!
aa aa
d
d
dg
g

登录HDFS文件系统：

[root@node1 ~]# su hdfs

在HDFS文件系统中创建文件目录保存要上传的数据：

bash-4.2$ hdfs dfs -mkdir -p /user/cf

然后将CentOS文件系统上的aa.txt文件上传到HDFS文件系统中：

bash-4.2$ hdfs dfs -put /home/cf/aa.txt /user/cf

执行以下命令，进入spark-shell环境：

bash-4.2$ spark-shell

在spark-shell环境中用scala编写spark程序，按空格分割数据

scala> sc.textFile()).reduceByKey(_+_).saveAsTextFile("/user/cf/out")

执行后得到结果文件：

bash-4.2$ hadoop fs -ls /user/cf/out
Found  items
-rw-r--r--    hdfs supergroup           -- : /user/cf/out/_SUCCESS
-rw-r--r--    hdfs supergroup          -- : /user/cf/out/part-
-rw-r--r--    hdfs supergroup          -- : /user/cf/out/part-

需要更改CentOS系统中文件目录的访问权限，以便将文件从HDFS文件系统中下载到CentOS文件系统：

[root@node1 ~]#  /home/cf

下载结果文件：

bash-4.2$ hadoop fs -get /user/cf/out/_SUCCESS /home/cf
bash- /home/cf
bash- /home/cf

查看结果文件：

[root@node1 ~]# cat /home/cf/_SUCCESS
[root@node1 ~]#
(d,)
(aa,)
(hello,)
[root@node1 ~]#
(world!,)
(dg,)
(g,)

参考：https://blog.csdn.net/csdnliuxin123524/article/details/80630174

巴特西

Spark教程——（3）编写spark-shell测试Demo

最新文章

热门文章