Error: java.net.ConnectException: Call From tuge1/192.168.40.100 to tuge2:8032 failed on connection exception

先看解决方案，再看唠嗑，唠嗑可以忽略。

解决方案：

使用start yarn.sh启动yarn就可以了。

唠嗑：

今天学习Spark基于Yarn部署。然后总以为Yarn是让Spark启动的，提交程序的时候Yarn就会启动~！于是乎我就只开启了Spark程序，没开启Yarn，然后执行提交

./spark-submit --class org.apache.spark.examples.JavaSparkPi \

    --master yarn \

    --deploy-mode cluster \

    --driver-memory 4g \

    --executor-memory 2g \

    --executor-cores  \

    --queue thequeue \

    /opt/spark/spark-2.4.-bin-hadoop2./examples/jars/spark-examples*.jar \

报错了：

ava.net.ConnectException: Call From tuge1/192.168.40.100 to tuge1: failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:)

    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:)

    at java.lang.reflect.Constructor.newInstance(Constructor.java:)

    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:)

    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:)

    at org.apache.hadoop.ipc.Client.call(Client.java:)

    at org.apache.hadoop.ipc.Client.call(Client.java:)

    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:)

    at com.sun.proxy.$Proxy13.getClusterMetrics(Unknown Source)

    at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:)

从上面日志可以看出访问不了8032端口造成的，但是8032端口是 What，左思右想想不到，然后就尝试重启虚拟机等一些无用操作。最后又看了看官方文档，看到一句话说会把配置的日志写入HDFS，然后想到要开启HDFS，于是开启了。开启后重新执行还是报同样错误，纳了闷了。到底啥端口，为啥要访问这个端口。于是最后只能问了问群里，有个热心朋友回答了，说是Spark端口，然后这个时候我还以为Spark是靠其它应用启动的，后来继续问，才想起来了spark是单独启动的。最后回顾了下Spark是单独启动的，MapReduce是集成的。以后遇到问题，涉及到哪方面要及时翻看之前内容，及时自我质疑，方可养成独立解决问题的能力~

巴特西

Error: java.net.ConnectException: Call From tuge1/192.168.40.100 to tuge2:8032 failed on connection exception

最新文章

热门文章