non_blocking参数的设置。
设置 参数 Non BLOCKING
2023-09-14 09:05:42 时间
问题:
images.cuda(non_blocking=True),target.cuda(non_blocking=True)把数据迁移到GPU里面;
nn.DataParallel(model.to(device), device_ids=gpus, output_device=gpus[0])包装模型。
images.cuda(non_blocking=True)为何要设置参数non_blocking=True呢?
解释:non_blocking默认值为False, 通常我们会在加载数据时,将DataLoader的参数pin_memory设置为True, DataLoader中参数pin_memory的作用是:将生成的Tensor数据存放在哪里,值为True时,意味着生成的Tensor数据存放在锁页内存中,这样内存中的Tensor转义到GPU的显存会更快。
主机中的内存,有两种存在方式,一是锁页,二是不锁页,锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换(注:虚拟内存就是硬盘),而不锁页内存在主机内存不足时,数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候,可以设置pin_memory=True。当系统卡住,或者交换内存使用过多的时候,设置pin_memory=False。(参考:链接)
如果pin_memory=True的话,将数据放入GPU的时候,也应该把non_blocking打开,这样就只把数据放入GPU而不取出,访问时间会大大减少。
参考文章:https://blog.csdn.net/qq_23981335/article/details/118678541
相关文章
- linux下ruby使用tcl/tk编程环境设置
- Windows SubSystem for Linux(WSL)设置默认和设置默认登陆用户
- Eclipse/MyEclipse Java注释模板设置详解
- php中如何设置mysql查询读取数据的超时时间
- 网页图表控件Highcharts如何详细设置参数
- go语言每个工程是不是都要单独设置GOPATH?
- JVM的7种垃圾收集器:主要特点 应用场景 设置参数 基本运行原理
- 建站之星如何设伪静态规则?建站之星伪静态设置方法!
- 关于虚拟机virtualbox使用无线卡上网的设置
- Python Django 设置和获取Cookie代码示例
- spark重要参数调优建议:executor-cores/spark.executor.cores设置每个Executor进程的CPU core数量
- iOS runtime 动态拦截方法,设置参数 tableView改变索引栏的字体大小和颜色
- Eclipse jvm启动参数在哪设置
- docker安装Elasticsearch7.6集群并设置密码
- ceph 13.2.10 在线修改参数 osd 心跳时间设置 内存限制
- C#开发的OpenRA的Shader加载、编译和设置使用
- 爬虫日记(65):Scrapy的设置参数-Telnet
- 爬虫日记(64):Scrapy的设置参数-统计分析
- 爬虫日记(63):Scrapy的设置参数-日志
- ollydbg设置断点经验总结
- e796. 设置JSlider的方向
- 设置内容 - text()、html() 以及 val()
- 如何在.Net Core中设置跨域访问?
- win7系统语言栏默认输入法怎么设置教学分享