pytorch实现多gpu训练怎样做？一文带你看懂-群英

上一篇：python中常用的excel模块库有几种？怎样安装? 下一篇：pytorch中使用cuda处理数据怎样做？

这篇文章主要介绍pytorch实现多gpu训练的内容，对新手学习和了解pytorch具有一定参考价值，感兴趣的朋友就继续往下看吧，希望大家阅读完这篇文章能有所收获，接下来小编带着大家一起了解看看。

1.网络模型转移到CUDA上

net = AlexNet()
net.cuda()#转移到CUDA上

2.将loss转移到CUDA上

criterion = nn.CrossEntropyLoss()
criterion = criterion.cuda()

这一步不做也可以，因为loss是根据out、label算出来的

loss = criterion(out, label)

只要out、label在CUDA上，loss自然也在CUDA上了，但是发现不转移到CUDA上准确率竟然降低了1%

3.将数据集转移到CUDA上

这里要解释一下数据集使用方法

#download the dataset
train_set = CIFAR10("./data_cifar10", train=True, transform=data_tf, download=True)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

dataset是把所有的input,label都制作成了一个大的多维数组

dataloader是在这个大的多维数组里采样制作成batch，用这些batch来训练

    for im, label in train_data:
        i = i + 1
        im = im.cuda()#把数据迁移到CUDA上
        im = Variable(im)#把数据放到Variable里
        label = label.cuda()
        label =Variable(label)
        out = net(im)#the output should have the size of (N,10)

遍历batch的时候，首先要把拿出来的Image、label都转移到CUDA上，这样接下来的计算都是在CUDA上了

开始的时候只在转成Variable以后才迁移到CUDA上，这样在网络传播过程中就数据不是在CUDA上了，所以一直报错

训练网络时指定gpu显卡

查看有哪些可用的gpu

nvidia -smi

实时查看gpu信息1代表每1秒刷新一次

watch -n -1 nvidia -smi

指定使用的gpu

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0,3"

以上就是关于pytorch实现多gpu训练的相关介绍，希望对大家学习和理解pytorch gpu训练有帮助，想要了解更多pytorch实现多gpu训练的内容，大家可以关注其他相关文章。

文本转载自脚本之家

标签： pytorch实现多gpu训练

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

上一篇：python中常用的excel模块库有几种？怎样安装? 下一篇：pytorch中使用cuda处理数据怎样做？