前言：

激活函数与loss的梯度

PyTorch 提供了Auto Grad 功能，这里系统讲解一下

torch.autograd.grad系统的工作原理，了解graph 结构

目录：

1: require_grad = False

2: require_grad =True

3： 多层bakcward 原理

4： index 的作用

5： 更复杂的例子

一 require_grad = False

我们创建了两个tensor :a,b

c=a*b

tensor 会为Tensor a,b,c 内部自动分配一些属性

data: 当前的数据

grad: 保存当前的梯度,非leaf 不保存。retain_graid

grad_fn: 指向backward graph中的Node

is_leaf : 是否为graph 中的leaf

requires_grad: 为True 的时候才会创建backwards grad

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 17:34:37 2023@author: chengxf2
"""import torchdef autograd():a = torch.tensor(2.0,requires_grad=False)b = torch.tensor(3.0,requires_grad=False)c =a*bgrad_a =torch.autograd.grad(c,[a])print(a,grad_a)autograd()

运行后回直接报错

因为 a 的require_grad 为 False,

所以没有对应的grad_fn 指向backwards graph

二 require_grad= True

Mul 函数 会创建一个上下文保存当前输入的Tensor：a,b

当a require_grad属性 设置成True

Tensor C的三个属性发生了变化

grad_fn = MulBackward

is_leaf = False

require_grad = True

MulBackward 的input 是ctx中保存的tensor,跟输入的a,b分别关联

是tuple 组成的list

tuple的结构是[Function, index]

[Accumulated Grad,0] 跟 Tensor a 关联

[None ,0] 跟 Tensor b 关联

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 17:34:37 2023@author: chengxf2
"""import torchdef autograd():a = torch.tensor(2.0,requires_grad=True)b = torch.tensor(3.0,requires_grad=False)c =a*bgrad_a =torch.autograd.grad(c,[a])print(grad_a)autograd()

三 多层bakcward 原理

c=a*b

e=c*d

其中因为c 是intermediate node, 非leaf,当

backward时候，不保存grad,直接把梯度传递到 其内部的grad_fn(MulBackward)

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 17:34:37 2023@author: chengxf2
"""import torchdef autograd():a = torch.tensor(2.0,requires_grad=True)b = torch.tensor(3.0,requires_grad=True)d = torch.tensor(4.0,requires_grad=True)c =a*be =c*dgrad_a,grad_b,grad_d =torch.autograd.grad(e,[a,b,d])print("grad_a: %d grad_b: %d  grad_d: %d"%(grad_a,grad_b,grad_d))autograd()

为了防止tensor 运行期间发生变化增加了 _version 保护

四 index 的作用

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 17:34:37 2023@author: chengxf2
"""import torchdef autograd():a = torch.tensor([1.0,2.0,3.0],requires_grad=True)b,c,d= a.unbind()e =b*c*dgrad_a =torch.autograd.grad(e,[a])print("grad_a:  ",grad_a)autograd()

index 主要用于指向对应的backward graph 中的input的tensor索引

五 更复杂的例子

c= a*b

c.require_grad= True

e = c*d

# -*- coding: utf-8 -*-
"""
Created on Wed Feb  1 17:34:37 2023@author: chengxf2
"""import torchdef Forward():a = torch.tensor(2.0,requires_grad=False)b = torch.tensor(2.0, requires_grad=False)d = torch.tensor(2.0, requires_grad=False)f = torch.tensor(2.0, requires_grad=False)h = torch.tensor(2.0, requires_grad=True)c= a*bprint("\n c:",c)c.requires_grad=Truee= c*dprint("\n e ",e)g= e*fprint("\n g ",g)i =g/hprint("\n i ",i)j = i+hk=j*iprint("\n j ",j)print("\n k ",k)grad_c = torch.autograd.grad(k,[c])print("\n grad_c ",grad_c)m=k.detach()print("m ",m)Forward()

输出：

i.reatin_graid(): 保证当前的梯度