基本很少有人会想到要关闭NVIDIA显卡的CUDA计算功能，这东西不想用就不跑cuda代码不就可以了吗，但是作为一个深度学习服务器集群的管理者来说，这个功能还是有用处的。前一阵使用实验室的一台服务器的显卡报错，只要是这个显卡满载就会导致服务器死机，从操作系统日志和服务器硬件监控日志来看这个错误是硬件错误，也就是说不是pcie槽的相关部分（供电、芯片等）出现了故障就是这块显卡出现了硬件故障，相关见：实验室服务彻底死机记录——硬件故障——主板pcie槽坏掉或显卡坏掉 。

既然确定好了问题点，那么直接联系厂家不就解决了嘛，毕竟这是硬件问题，但是实际操作起来还是蛮复杂的，首先服务器上跑的有国家级的项目，这个也是各位领导的钱袋子，这个服务器上的数据就是迁移也是需要时间的，争取最小时间损失是必须要考虑的，这时候就有一个神奇的选项，那就是将这个坏掉的显卡的CUDA功能关闭掉，其他显卡依然可以正常运行，这样就可以在保障服务器上的项目依然可以运行的同时一边做备份和迁移一边去和厂家联系硬件维修的事情。

先给出关闭NVIDIA显卡cuda功能的命令（关闭所有显卡的cuda计算功能）：

sudo nvidia-smi  -c 2

除了关闭所有显卡的cuda计算功能，我们也可以指定某个显卡关闭cuda计算功能：

sudo nvidia-smi -i 0 -c 2
其中，-i 就是指定某个显卡的参数，-i 0，就是关闭0号显卡的cuda计算功能。

恢复所有显卡的cuda功能：

sudo nvidia-smi  -c 0

如果需要恢复特定显卡的cuda功能，则加：  -i 显卡号，

如：sudo nvidia-smi -i 0 -c 0   就是恢复0号显卡的cuda功能

==============================

下面内容源自：

作者：YellowMeta
链接：https://juejin.cn/post/7120533024076202015

=====================================

nvidia-smi，查看当前显卡的计算模式：DEFAULT

关闭1号显卡的cuda计算功能：

查看1号显卡的计算模式为：Prohibited

在1号显卡上运行cuda代码：无法创建任务，运行失败

通过NVIDIA的nvidia-smi命令我们可以知道显卡上的任务可以分为图形图像任务和计算任务两种，其中图形图形任务类型为Graphic，计算任务类型为compute，缩写分别为G和C，在使用nvidia-smi命令后我们可以通过查看process内容知道不同的进程是属于G类型还是C类型：

=====================================

参考：

https://www.twblogs.net/a/5ca8603cbd9eee59d3332b72

https://juejin.cn/post/7120533024076202015