Spark1.4远程调试
2024-08-24 12:55:29
1)首先,我们是在使用spark-submit提交作业时,使用
--driver-java-options ”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888“
参数来指明本作业使用远程调试的方式运行,也就是打开JVM的调试特性,实例如下:
,
回车确定提交作业之后,并没有像之前直接运行程序,而是出现一个提示语句“Listening for transport dt_socket at address: 8888”,如下所示:
2)程序在等待远程调试,我们使用IDEA2016的远程调试此程序,接下来就是使用IDEA配置远程调试,过程如下:
a.Run->Edit Configuration
点击“+”添加一个Remote
b.
点击“+”之后,弹出上述页面,点击“Remote”就成功创建了一个Remote,如下所示。
c.
修改上图中红色箭头指示的三个地方,一般只需要修改“Name”和“Port”,因为我们就是在本机远程调试Spark程序,所以不需要修改“Host”。“Port”就是8888
--driver-java-options ”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=“
配置后的页面如下图所示:
3)配置完成后,点击“F9”,选择“Spark_Remote_Debug”,就将IDEA与集群上Spark程序远程连接起来了,如下图所示,命中断点:
这里需要注意两点
1.在“47”位置设置断点时,会跳出如下提示(快捷键:ctrl+F8):
选择“All”才会命中断点,具体原因还不清楚。
2."67"位置的断点你为什么没有命中呀,昏淡~~
最新文章
- Git命令汇总
- java8中map的meger方法的使用
- leetcode 第二题Add Two Numbers java
- 不同的路径 II
- [yueqian_scut]蓝牙防丢器原理、实现与Android BLE接口编程
- ELK 日志系统搭建配置
- lodash源码分析之Hash缓存
- Java基础12-工具类;变长参数;IO
- Python——Flash框架——用户认证
- C# Winform 中DataGridView 实现单元格输入下拉框功能
- Linux更新源汇总-18.9.7更新
- vue router获取整条路径参数
- 转: Linux 系统调用sysconf 获取系统配置信息
- 解决windows 挂载 nfs 驱动器中 中文乱码问题
- CSS :invalid 选择器
- 一,ESP8266下载和刷固件(基于Lua脚本语言)
- python 画圆
- C#的字节与流
- Eclipse中各种编码格式及设置
- xampp更改网站存放目录