PyTorch向后函数中发生RuntimeError - python

我正在尝试计算PyTorch中变量的等级。但是，有一个RuntimeError告诉我输出和grad的形状必须相同。但是，就我而言，输出和grad的形状不能相同。这是我的代码重现：

import numpy as np
import torch
from torch.autograd import Variable as V

ne = 3
m, n = 79, 164
G = np.random.rand(m, n).astype(np.float64)
w = np.random.rand(n, n).astype(np.float64)
z = -np.random.rand(n).astype(np.float64)

G = V(torch.from_numpy(G))
w = V(torch.from_numpy(w))
z = V(torch.from_numpy(z), requires_grad=True)
e, v = torch.symeig(torch.diag(2 * z - torch.sum(w, dim=1)) + w, eigenvectors=True, upper=False)
ssev = torch.sum(torch.pow(e[-ne:] * v[:, -ne:], 2), dim=1)
out = torch.sum(torch.matmul(G, ssev.reshape((n, 1))))
out.backward(z)
print(z.grad)

错误消息是：RuntimeError: Mismatch in shape: grad_output[0] has a shape of torch.Size([164]) and output[0] has a shape of torch.Size([])

TensorFlow中允许类似的计算，并且我可以成功获得所需的梯度：

import numpy as np
import tensorflow as tf

m, n = 79, 164
G = np.random.rand(m, n).astype(np.float64)
w = np.random.rand(n, n).astype(np.float64)
z = -np.random.rand(n).astype(np.float64)

def tf_function(z, G, w, ne=3):
    e, v = tf.linalg.eigh(tf.linalg.diag(2 * z - tf.reduce_sum(w, 1)) + w)
    ssev = tf.reduce_sum(tf.square(e[-ne:] * v[:, -ne:]), 1)
    return tf.reduce_sum(tf.matmul(G, tf.expand_dims(ssev, 1)))

z, G, w = [tf.convert_to_tensor(_, dtype=tf.float64) for _ in (z, G, w)]
z = tf.Variable(z)
with tf.GradientTape() as g:
    g.watch(z)
    out = tf_function(z, G, w)
print(g.gradient(out, z).numpy())

我的tensorflow版本是2.0，我的PyTorch版本是1.14.0。我正在使用Python3.6.9。我认为，在输出和变量具有不同形状时计算梯度非常合理，我认为我没有犯任何错误，有人可以帮助我解决这个问题吗？我真的很感激！

参考方案

首先，您不需要使用numpy，然后转换为Variable（已弃用），您可以使用G = torch.rand(m, n)等。其次，当您编写out.backward(z)时，您将传递z为out的gradient，即out.backward(gradient=z)，可能是由于误解为“ out.backward(z)计算z的梯度，即dout/dz”（但实际上dout/dz是通过z.grad获得的）在运行out.backward()之后，z不必与out具有相同的形状）。相反，对于某些函数gradient = d[f(out)]/dout（例如损失函数），该参数应为f，并且它是用于计算vector-Jacobian product dout/dz * df/dout的张量。因此，出现错误的原因是因为您的out（及其梯度df/dout）是标量（零维张量），而z是大小为n的张量，从而导致形状。

要解决此问题，您已经自己弄清楚了，只需将out.backward(z)替换为out.backward()，它等效于out.backward(gradient=torch.tensor(1.))，因为在您的情况下，out是标量，而f(out) = out是d[f(out)]/dout = d(out)/d(out) = tensor(1.) >。如果您的out是非标量张量，则out.backward()将不起作用，而您将不得不使用out.backward(torch.ones(out.shape))（同样假设f(out) = out）。无论如何，如果需要将gradient传递给out.backward()，请确保其形状与out相同。

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

python-docx应该在空单元格已满时返回空单元格 - python

我试图遍历文档中的所有表并从中提取文本。作为中间步骤，我只是尝试将文本打印到控制台。我在类似的帖子中已经看过scanny提供的其他代码，但是由于某种原因，它并没有提供我正在解析的文档的预期输出可以在https://www.ontario.ca/laws/regulation/140300中找到该文档from docx import Document from…

Python:集群作业管理 - python

我在具有两个阶段的计算群集（Slurm）上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？工作流程类似于以下内容：w…

Python-Excel导出 - python

我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…

Python:传递记录器是个好主意吗？ - python

我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…