使用 JvisualVM 监控 spark executor
2024-09-19 07:11:39
使用 JvisualVM,需要先配置 java 的启动参数 jmx
正常情况下,如下配置
-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.authenticate=false
-Djava.rmi.server.hostname=<ip>
-Dcom.sun.management.jmxremote.port=<port>
然后如下连接即可
但在 spark 中,不能指定具体的 ip 和 port,于是需要如下配置(相关参数 spark.executor.extraJavaOptions)
-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.ssl=false
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.port=0
然后找到具体的 container,使用如下命令找到运行的线程,和 pid
ps axu | grep container_1549968021090_0088_01_000010
然后通过 pid 找到对应的端口,
sudo netstat -antp | grep 9697
tcp 0 0 ::ffff:10.6.32.218:35735 :::* LISTEN 9697/java
tcp 0 0 :::39045 :::* LISTEN 9697/java
tcp 0 0 :::44425 :::* LISTEN 9697/java
tcp 0 0 ::ffff:10.6.32.218:43998 ::ffff:10.6.37.16:16020 ESTABLISHED 9697/java
tcp 0 0 ::ffff:10.6.32.218:48620 ::ffff:10.6.45.22:2181 ESTABLISHED 9697/java
tcp 0 0 ::ffff:10.6.32.218:40082 ::ffff:10.6.33.75:2181 ESTABLISHED 9697/java
tcp 0 0 ::ffff:10.6.32.218:54078 ::ffff:10.6.33.106:16020 ESTABLISHED 9697/java
tcp 0 0 ::ffff:10.6.32.218:54342 ::ffff:10.6.40.161:45389 ESTABLISHED 9697/java
tcp 0 0 ::ffff:10.6.32.218:34058 ::ffff:10.6.40.161:32967 ESTABLISHED 9697/java
结果中看,疑似为39045或44425,稍微尝试一下即可连上对应的 spark executor
最新文章
- c#_图表之zeGraph
- SharePoint—用REST方式访问列表
- 32-bit Assembly on x86_64 Linux (Use Nasm and ld&;gcc)
- Android activity跳转方式
- springboot系列之-helloword入门
- gpt
- [SharpMap]二叉树索引
- 4-2.矩阵乘法的Strassen算法详解
- jsp连接MySQL数据库显示GIS地理数据乱码问题的解决(select AsText(the_geom))
- druid-1.0.13 数据库配置文件密码加密
- Ajax.Nodejs.跨域访问
- 【Swift】swift定义全局变量
- python 脚本自动登陆校园网
- webpack,配置,上手,例子
- HSSFWorkbook 导出excel java
- 文件访问权限:更改用户ID
- 极致21点开发DAY1
- [Android]_[0基础]_[adb 有用命令]
- 使用Python + Selenium破解滑块验证码
- 用python实现一个无界面的2048