pytorch之model.zero_grad() 与 optimizer.zero_grad()()

转自

https://cloud.tencent.com/developer/article/1710864

https://cloud.tencent.com/developer/article/1710864

1. 引言

在PyTorch中,对模型参数的梯度置0时通常使用两种方式:和。二者在训练代码都很常见,那么二者的区别在哪里呢?

model.zero_grad()
optimizer.zero_grad()

2. model.zero_grad()

的作用是将所有模型参数的梯度置为0。其源码如下:

model.zero_grad()
for p in self.parameters():
  if p.grad is not None:
        p.grad.detach_()
        p.grad.zero_()

3. optimizer.zero_grad()

的作用是清除所有可训练的的梯度。其源码如下:

optimizer.zero_grad()
torch.Tensor
for group in self.param_groups:
    for p in group['params']:
        if p.grad is not None:
            p.grad.detach_()
            p.grad.zero_()

4. 总结

因此,当使用设置优化器时,此时优化器中的等于模型中的,此时,二者是等效的,从二者的源码中也可以看出来。

optimizer=optim.Optimizer(net.parameters())
param_groups
parameters()

当多个模型使用同一个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式。

当一个模型使用多个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式

————————

转自

https://cloud.tencent.com/developer/article/1710864

https://cloud.tencent.com/developer/article/1710864

1. 引言

在PyTorch中,对模型参数的梯度置0时通常使用两种方式:和。二者在训练代码都很常见,那么二者的区别在哪里呢?

model.zero_grad()
optimizer.zero_grad()

2. model.zero_grad()

的作用是将所有模型参数的梯度置为0。其源码如下:

model.zero_grad()
for p in self.parameters():
  if p.grad is not None:
        p.grad.detach_()
        p.grad.zero_()

3. optimizer.zero_grad()

的作用是清除所有可训练的的梯度。其源码如下:

optimizer.zero_grad()
torch.Tensor
for group in self.param_groups:
    for p in group['params']:
        if p.grad is not None:
            p.grad.detach_()
            p.grad.zero_()

4. 总结

因此,当使用设置优化器时,此时优化器中的等于模型中的,此时,二者是等效的,从二者的源码中也可以看出来。

optimizer=optim.Optimizer(net.parameters())
param_groups
parameters()

当多个模型使用同一个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式。

当一个模型使用多个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式