nvidia-smi GPU异常消失 程序中断
2024-10-07 13:07:22
GPU型号为NVIDIA的1080Ti，最近出现的状况的是某一个GPU突然就出问题了，如果在该GPU上有运行程序的话则程序中断，nvidia-smi显示出来的GPU则少了这一个。
1、一开始怀疑是温度问题，温度过高导致自动关闭。
2、最好的方法是先看一下nvidia-bug-report，管理员输入sudo nvidia-bug-report.sh
参考：https://devtalk.nvidia.com/default/topic/522835/linux/if-you-have-a-problem-please-read-this-first/
该命令会在本地生成一个nvidia-bug-report.log.gz，然后使用gunzip nvidia-bug-report.log.gz可解压缩得到nvidia-bug-report.log。
打开nvidia-bug-report.log，其中记录了很多gpu的运行信息，尤其是 /var/log/dmesg的信息，占据了该log文件的大部分，记录了从开机到生成report文件时GPU的所有运行情况。
包括详细时间，用户等（由于该文件是从ubuntu复制过来打开的，编码问题导致乱码，修改一下编码方式就不会了，这里看得懂就好）
然后就可以定位到问题了
另外，nvidia-smi -a可以获取GPU的详细信息，也可以确定消失的GPU的id号就是0000:09:00。
未完待续~~~~
最新文章
- vs2013 git 使用总结
- React组件性能优化
- Javascript+Dom(加减乘除计算器)
- BZOJ4118 : [Wf2015]Window Manager
- Monte Carlo 数值积分
- Wcf Restful Service服务搭建
- Lintcode: Sort Letters by Case
- 百度UEditor组件出现Parameters: Invalid chunk '' ignored警告的分析
- BPL插件框架的二种实现
- 用Canvas制作小游戏——贪吃蛇
- VoltDB公布4.0版本号，大步提高内存实时分析速度，进军操作数据库市场
- vim自动补全
- 基于visual Studio2013解决算法导论之052深度优先
- uploadify.js
- hdu 1059 Dividing 多重背包
- 【转】如何实现Flex页面跳转
- 比较三个 CSS 预处理器：Sass、LESS 和 Stylus（上）
- vue——props的两种常用方法
- 我和我的小伙伴们都惊呆了！基于Canvas的第三方库Three.js
- 解码base64加密的图片并打印到前台