纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

pytorch to(device)与cuda()差别 pytorch中.to(device) 和.cuda()的区别说明

Golden-sun   2021-05-24 我要评论
想了解pytorch中.to(device) 和.cuda()的区别说明的相关内容吗Golden-sun在本文为您仔细讲解pytorch to(device)与cuda()差别的相关知识和一些Code实例欢迎阅读和指正我们先划重点:pytorh,.to(device),.cuda()下面大家一起来学习吧。

原理

.to(device) 可以指定CPU 或者GPU

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单GPU或者CPU
model.to(device)
#如果是多GPU
if torch.cuda.device_count() > 1:
  model = nn.DataParallel(modeldevice_ids=[0,1,2])
model.to(device)

.cuda() 只能指定GPU

#指定某个GPU
os.environ['CUDA_VISIBLE_DEVICE']='1'
model.cuda()
#如果是多GPU
os.environment['CUDA_VISIBLE_DEVICES'] = '0,1,2,3'
device_ids = [0,1,2,3]
net  = torch.nn.Dataparallel(net, device_ids =device_ids)
net  = torch.nn.Dataparallel(net) # 默认使用所有的device_ids 
net = net.cuda()
class DataParallel(Module):
    def __init__(self, module, device_ids=None, output_device=None, dim=0):
        super(DataParallel, self).__init__()

        if not torch.cuda.is_available():
            self.module = module
            self.device_ids = []
            return

        if device_ids is None:
            device_ids = list(range(torch.cuda.device_count()))
        if output_device is None:
            output_device = device_ids[0]

补充:Pytorch使用To方法编写代码在不同设备(CUDA/CPU)上兼容(device-agnostic)

以前版本的PyTorch编写device-agnostic代码非常困难(即在不修改代码的情况下在CUDA可以使用或者只能使用CPU的设备上运行)。

device-agnostic的概念

即设备无关可以理解为无论什么设备都可以运行您编写的代码。(PS:个人理解我没有在网上找到专业解释)

PyTorch 0.4.0使代码兼容

PyTorch 0.4.0通过两种方法使代码兼容变得非常容易:

张量的device属性为所有张量提供了torch.device设备。(注意:get_device仅适用于CUDA张量)

to方法Tensors和Modules可用于容易地将对象移动到不同的设备(代替以前的cpu()或cuda()方法)

我们推荐以下模式:

# 开始脚本创建一个张量
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
...
# 但是无论你获得一个新的Tensor或者Module
# 如果他们已经在目标设备上则不会执行复制操作
input = data.to(device)
model = MyModule(...).to(device)

以上为个人经验希望能给大家一个参考也希望大家多多支持。


相关文章

猜您喜欢

  • python 天气预报工具 python制作的天气预报小工具(gui界面)

    想了解python制作的天气预报小工具(gui界面)的相关内容吗懷淰メ在本文为您仔细讲解python 天气预报工具的相关知识和一些Code实例欢迎阅读和指正我们先划重点:python,天气预报,python,gui下面大家一起来学习吧。..
  • python flask python框架flask知识总结

    想了解python框架flask知识总结的相关内容吗胖虎是只mao在本文为您仔细讲解python flask的相关知识和一些Code实例欢迎阅读和指正我们先划重点:python,flask,python框架下面大家一起来学习吧。..

网友评论

Copyright 2020 www.Shellfishsoft.com 【贝软下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式