****** 服务器上跑过程序经常能遇到out of memory 这个问题,下面是我经常在实验室碰到的解决方法。

1.使用命令nvidia-smi,看到GPU显存被占满:

2.尝试使用 ps aux|grep PID命令查看占用GPU内存的线程的使用情况。如下

解决办法:

1.根据以上操作即可确认同与你使用一台服务器的其他人是谁在占用GPU。与对方沟通后如果程序已经跑完但是仍在占用显存可KILL掉该进程。

***因服务器资源有限,大家在使用过程中及时互相沟通,保证机器利用效率。

2.多GPU的服务器在程序训练EPOCH 较多的时候应该指定GPU_DEVICE,不要占用全部资源。

3.使用jupyter的同学在程序结束后应当及时在RUNNING界面将程序shutdown,否则该程序还会一直占用资源。(如下)

最新文章

  1. CentOS下升级python2.7.10过程记录
  2. 【转载】Pyqt 编写的俄罗斯方块
  3. rds材资收集
  4. 那些盒模型在IE6中的BUG们,工程狮的你可曾遇到过?
  5. fdquery update
  6. android 中使用回调方法(适用于自定义view传值到activity、adapter传值到activity)
  7. css中bug记录
  8. PostgreSQL9.1 with PostGIS 2.1.4 for mapping coordinates on linux/ubuntu 已经打包成deb 可下载
  9. selenium+python 自动化中界面滚动条操作方法
  10. Tensorflow之卷积神经网络(CNN)
  11. SQLServer复习文档1(with C#)
  12. springboot~Profile开发环境与单元测试用不同的数据库
  13. (11)ssh免密登录配置
  14. Java:JDBC的基本使用
  15. 更新本地git仓库的远程地址(remote地址)
  16. 黑白二值图像周长测量--C#实现
  17. 【java】一些零碎的知识点
  18. 添加 Github follow、star按钮到网页
  19. lambda表达式&map&filter&yield
  20. 【数组】Search Insert Position

热门文章

  1. 2018-2019-2 20165313 Exp2 后门原理与实践
  2. sklearn pipeline
  3. python 基础之自动类型转换和强制类型转换
  4. Spring Boot - AOP(面向切面)
  5. siftflow-fcn32s训练及预测
  6. mongodb 导入文件
  7. VsCode配置go环境及插件安装
  8. PAT 甲级 1035 Password (20 分)
  9. 编译问题:'<invalid-global-code>' does not contain a definition for 'Store' and no extension method 'XXX' accepting a first argument of type '<invalid-global-code>' could be found
  10. 完成端口IOCP详解