spark查看stage和tasks信息

　　spark提供了web-ui接口、外部命令等多种方法监视spark程序的执行状态。利用spark的监视功能，可以方便的查看spark应用程序执行的状态，具体包括：1）stage和tasks列表信息 2）RDD大小和内存使用情况 3）环境信息 4）executors信息。

　　1.web-ui 接口

可以在浏览器上输入http://<driver-node>:4040，查看spark程序的执行状态。不过spark程序一旦运行完成，web-ui便无法再查看spark状态。

　　　driver-node信息在spark-submit执行spark任务的过程中会被打印，例如:执行spark-submit --master spark://taoli5:7077 sample.py 提交任务至cluster。日志输出如下，红框中就包含driver-node的信息。

2.事后监控

如果希望在程序结束之后也能访问spark执行状态，可以在启动spark程序之前，设置spark.eventLog.enabled=true，该配置会将展示在web-ui中的展示信息持久化至日志中。之后通过spark history server重建web-ui。具体过程如下：

　1）修改$SPARK_HOME/conf/ spark-defaults.conf

　　# spark.master                     spark://master:7077
　　 spark.eventLog.enabled           true
　　 spark.eventLog.dir               /home/taoli5/work/project/pyspark/eventLog
　　spark.history.fs.logDirectory    /home/taoli5/work/project/pyspark/eventLog
　　# spark.serializer                 org.apache.spark.serializer.KryoSerializer
　　# spark.driver.memory              5g
　　# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
2 ) 运行./sbin/start-history-server.sh，启动spark history-server

该命令会启动一个守护进程（spark history server）作为web-ui服务进程。在执行spark程序之后，你可以在浏览器上输入http://<server-url>:18080，查看spark程序的状态，即使spark程序执行结束，依然可以查看spark程序状态。server-url可以通过查看 start-history-server.sh的启动日志得到。

3）运行spark程序：spark-submit --master spark://taoli5:7077 sample.py

4）查看spark执行状态：

点击app-20180421185114-0005，进一步查看任务的stage等信息

巴特西

spark查看stage和tasks信息

最新文章

热门文章