Pytorch中的自动求梯度机制和Variable类
2024-08-28 14:29:23
自动求导机制是每一个深度学习框架中重要的性质,免去了手动计算导数,下面用代码介绍并举例说明Pytorch的自动求导机制。
首先介绍Variable,Variable是对Tensor的一个封装,操作和Tensor是一样的,但是每个Variable都有三个属性:Varibale的Tensor本身的.data,对应Tensor的梯度.grad,以及这个Variable是通过什么方式得到的.grad_fn,根据最新消息,在pytorch0.4更新后,torch和torch.autograd.Variable现在是同一类。torch.Tensor能像Variable那样追踪历史和反向传播。Variable仍能正确工作,但是返回的是Tensor。
我们拥抱这些新特性,看看Pytorch怎么进行自动求梯度。
#encoding:utf-8
import torch x = torch.tensor([2.],requires_grad=True) #新建一个tensor,允许自动求梯度,这一项默认是false.
y = (x+2)**2 + 3 #y的表达式中包含x,因此y能进行自动求梯度
y.backward()
print(x.grad)
输出结果是:
tensor([8.])
这里添加一个小知识点,即torch.Tensor和torch.tensor的不同。二者均可以生成新的张量,但torch.Tensor()是python类,是默认张量类型torch.FloatTensor()的别名,使用torch.Tensor()会调用构造函数,生成单精度浮点类型的张量。
而torch.tensor()是函数,其中data可以是list,tuple,numpy,ndarray,scalar和其他类型,但只有浮点类型的张量能够自动求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言归正传,上一个例子的变量本质上是标量。下面一个例子对矩阵求导。
#encoding:utf-8
import torch x = torch.ones((2,4),requires_grad=True)
y = torch.ones((2,1),requires_grad=True)
W = torch.ones((4,1),requires_grad=True) J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示对矩阵作乘法
J.backward()
print(x.grad)
print(y.grad)
print(W.grad)
输出结果是:
tensor([[-1., -1., -1., -1.],
[-1., -1., -1., -1.]])
tensor([[1.],
[1.]])
tensor([[-2.],
[-2.],
[-2.],
[-2.]])
最新文章
- CHARINDEX
- uva 401.Palindromes
- 【转】Linux 概念架构的理解
- 这是html5中WebGL的演示
- java调用shell脚本
- Spring MVC Cookie example
- grunt--自动化任务快速上手
- uva10003 - Cutting Sticks(简单动规)
- spring boot新建项目启动报:Unregistering JMX-exposed beans on shutdown
- ESP8266擦除工具完整安装
- visual studio 修改注释快捷键,和断点
- 13、通过Docker-compose快速搭建Wordpress
- VC6的VCVARS32.BAT所在位置
- superset 安装配置
- jenkins持续化集成工具 centos 6.5安装
- mybatis 使用tips - 使用多个参数
- SQL Server之看懂执行计划
- Android 开发之使用Eclipse Debug调试详解(转)
- echart在jsp中使用另外的方法
- EJB结合struts2创建项目、发布jboss服务器和访问、父类(BaseDaoImpl)的封装
热门文章
- Security8:权限模拟
- Java中异常分类和Throw和Throws的区别
- element 的 Cascader 级联选择器设定默认值
- Python面向对象的特征跟私有属性
- Nginx 的过滤模块是干啥用的?
- 基于 abp vNext 和 .NET Core 开发博客项目 - 集成Hangfire实现定时任务处理
- debug PHP程序(xdebug、IntelliJ IDEA)
- JSON.parse() 的实现
- 使用Mac的Remote Desktop Manager连接ubuntu16.04 &; Win10的远程桌面
- Ftrace的部分使用方法