这篇文章给大家分享的是pytorch下loss反向传播出错如何解决的内容。小编觉得挺实用的，因此分享给大家做个参考，器报错情况如何选，下面跟随小编一起看看怎么解决吧。

        RuntimeError: grad can be implicitly created only for scalar outputs

File "train.py", line 143, in train
loss.backward()
File "/usr/local/lib/python3.6/dist-packages/torch/tensor.py", line 198, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph)
File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 94, in backward
grad_tensors = _make_grads(tensors, grad_tensors)
File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 35, in _make_grads
raise RuntimeError("grad can be implicitly created only for scalar outputs")
RuntimeError: grad can be implicitly created only for scalar outputs

    问题分析：

        因为我们在执行 loss.backward() 时没带参数，这与 loss.backward(torch.Tensor(1.0)) 是相同的，参数默认就是一个标量。但是由于自己的loss不是一个标量，而是二维的张量，所以就会报错。

    解决办法：

    1. 给 loss.backward() 指定传递给后向的参数维度：

loss = criterion(pred, targets)
loss.backward()
# 改为：
loss = criterion(pred, targets)
loss.backward(loss.clone().detach())

    2. 修改loss函数的输出维度

        把张量的输出修改为标量，比如说多多个维度的loss求和或求均值等。此方法对于某些任务不一定适用，可以尝试自己修改。

criterion = nn.L1Loss(reduction='none')
# 把参数去掉，改为：
criterion = nn.L1Loss()

        这里顺便介绍一下pytorch loss函数里面 的reduction 参数。在新的pytorch版本里，使用reduction 参数取代了旧版本的size_average和reduce参数。

        reduction 参数有三种选择：

        'elementwise_mean'：为默认情况，表明对N个样本的loss进行求平均之后返回(相当于reduce=True，size_average=True);

        'sum'：指对n个样本的loss求和(相当于reduce=True，size_average=False);

        'none'：表示直接返回n分样本的loss(相当于reduce=False)

    补充：在Pytorch下，由于反向传播设置错误导致 loss不下降的原因及解决方案

    在Pytorch下，由于反向传播设置错误导致 loss不下降的原因及解决方案

    刚刚接触深度学习一段时间，一直在研究计算机视觉方面，现在也在尝试实现自己的idea，从中也遇见了一些问题，这次就专门写一下，自己由于在反向传播（backward）过程中参数没有设置好，而导致的loss不下降的原因。

    对于多个网络交替

    描述

    简单描述一下我的网络结构，我的网络是有上下两路，先对第一路网络进行训练，使用groud truth对这一路的结果进行监督loss_steam1，得到训练好的feature.然后再将得到的feature级联到第二路，通过网络得到最后的结果，再用groud truth进行监督loss。

    整个网络基于VGG19网络，在pytorch下搭建，有GPU环境：

    出现的情况，loss_steam1不怎么下降

        这个问题确实折麽自己一段时间，结果发现自己出现了一个问题，下面将对这个问题进行分析和解答：

    PyTorch梯度传递

        在PyTorch中，传入网络计算的数据类型必须是Variable类型， Variable包装了一个Tensor，并且保存着梯度和创建这个Variablefunction的引用，换句话说，就是记录网络每层的梯度和网络图，可以实现梯度的反向传递。则根据最后得到的loss可以逐步递归的求其每层的梯度，并实现权重更新。

        在实现梯度反向传递时主要需要三步：

        1、初始化梯度值：net.zero_grad() 清除网络状态

        2、反向求解梯度：loss.backward() 反向传播求梯度

        3、更新参数：optimizer.step() 更新参数

    解决方案

        自己在写代码的时候，还是没有对自己的代码搞明白。在反向求解梯度时，对第一路没有进行反向传播，这样肯定不能使这一路的更新，所以我就又加了一步：

        loss_steam1.backward( retain_graph = True) //因为每次运行一次backward时，如果不加retain_graph = True，运行完后，计算图都会free掉。

loss.backward()

        这样就够了么？我当时也是这么认为的结果发现loss_steam1还是没有降，又愁了好久，结果发现梯度有了，不更新参数，怎么可能有用！

optimizer_steam1.step() //这项必须加
optimizer.step()

        哈哈！这样就完成了，效果也确实比以前好了很多。

        以上为个人经验，感兴趣的朋友可以借鉴参考，希望能对大家有帮助，想要了解更多loss反向传播的内容，大家可以继续关注其他文章。

文本转载自脚本之家

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python项目中如何连接及操作数据库

  这篇文章主要介绍了Python基础之操作MySQL数据库,文中有非常详细的代码示例,对正在学习python基础的小伙伴们有非常好的帮助,需要的朋友可以参考下

• 如何利用Python将网页文章转PDF，代码是什么

  有时候看到一篇好的文章，想去保存下来，传统方式一般是收藏书签、复制粘贴到文档或者直接复制链接保存，但这也太麻烦了。本文将用Python语言实现将网上的文章转存为PDF文档，保存电脑上慢慢看

• Python区块链块添加的实现及详细过程是什么

  这篇文章主要为大家介绍了Python区块链块的添加教程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• 基本Python是如何实现图像清晰化处理的

  GFPGAN是腾讯开源的人脸修复算法，它利用预先训练好的面部 GAN（如 StyleGAN2）中封装的丰富和多样的先验因素进行盲脸 (blind face)修复。这篇文章主要为大家介绍通过GFPGAN实现模糊照片人脸恢复清晰，需要的朋友可以参考一下

• 怎样使用python实现停用词过滤？

  这篇文章给大家分享的是有关使用python实现停用词过滤的内容。小编觉得挺实用的，因此分享给大家做个参考，下文有具体事例，感兴趣的朋友可以参考，接下来一起跟随小编看看吧。