一、环境简介

PyTorch是由Facebook人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，而随着Caffe2项目并入Pytorch， Pytorch开始影响到TensorFlow在深度学习应用框架领域的地位。

二、miniconda下pytorch相关环境配置

1.pytorch安装

直接参考课件即可，离线安装较好。

2.jupyter-lab安装

pip install jupyterlab

3.启用

pip install ipykernel 
python -m ipykernel install --user --name pytorch # pytorch 为需要安装jupyter-lab虚拟环境的名称

执行上述命令后，即可安装kernel，在jupyter页面可以选择你需要的kernel。

4.启动

jupyter-lab

5.win下默认环境设置

原先参考： 如何修改 Conda 默认启动的 Python 环境 | MakeOptim [工具 - 如何修改 Conda 默认启动的 Python 环境 | MakeOptim
https://makeoptim.com/tool/conda-default-python-env](工具 - 如何修改 Conda 默认启动的 Python 环境 | MakeOptim
https://makeoptim.com/tool/conda-default-python-env) ，结果发现这个什么都好，win下的配置是错误的。

正确的做法是修改文档下 WindowsPowerShell 的 profile.ps1

例如我的路径： D:\我的资料库\Documents\WindowsPowerShell\profile.ps1

#region conda initialize
# !! Contents within this block are managed by 'conda init' !!
(& "C:\miniconda3\Scripts\conda.exe" "shell.powershell" "hook"  ) | Out-String | Invoke-Expression
#endregion
conda activate pytorch

在最末尾添加activate命令即可。

三、PyTorch基础知识

1.张量

几何代数中定义的张量是基于向量和矩阵的推广，比如我们可以将标量视为零阶张量，矢量可以视为一阶张量，矩阵就是二阶张量。

2.操作

2.1 加法

import torch
# 方式1
y = torch.rand(4, 3) 
print(x + y)

# 方式2
print(torch.add(x, y))

# 方式3 in-place，原值修改
y.add_(x) 
print(y)

切记 add_ 有下划线，去掉效果不同。。。。。。

2.2 索引

• 索引出来的结果与原数据共享内存，修改一个，另一个会跟着修改。如果不想修改，可以考虑使用copy()等方法

• torch.view() 返回的新tensor与源tensor共享内存(其实是同一个tensor)，更改其中的一个，另外一个也会跟着改变。(顾名思义，view()仅仅是改变了对这个张量的观察角度)

• 为为了使创建的张量和原始张量不共享内存，我们需要使用第二种方法torch.reshape()， 同样可以改变张量的形状，但是此函数并不能保证返回的是其拷贝值，所以官方不推荐使用。推荐的方法是我们先用 clone() 创造一个张量副本然后再使用 torch.view()进行函数维度变换 。

• . 取值操作 如果我们有一个元素 tensor ，我们可以使用 .item() 来获得这个 value，而不获得其他性质。

2.3 广播机制

• 当对两个形状不同的 Tensor 按元素运算时，可能会触发广播(broadcasting)机制：先适当复制元素使这两个 Tensor 形状相同后再按元素运算。

3.自动求导

3.1 Autograd简介

• PyTorch 中，所有神经网络的核心是 autograd包。autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义 ( define-by-run ）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。

• torch.Tensor是这个包的核心类。如果设置它的属性.requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用.backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。

• 在 y.backward() 时，如果 y 是标量，则不需要为 backward() 传入任何参数；否则，需要传入一个与 y 同形的Tensor。

• 要阻止一个张量被跟踪历史，可以调用.detach()方法将其与计算历史分离，并阻止它未来的计算记录被跟踪。为了防止跟踪历史记录(和使用内存），可以将代码块包装在 with torch.no_grad():中。在评估模型时特别有用，因为模型可能具有 requires_grad = True 的可训练的参数，但是我们不需要在此过程中对他们进行梯度计算。

• Tensor 和 Function互相连接生成了一个无环图 (acyclic graph)，它编码了完整的计算历史。每个张量都有一个.grad_fn属性，该属性引用了创建Tensor 自身的Function。

3.2 梯度

现在开始进行反向传播，因为out 是一个标量，因此out.backward()和out.backward(torch.tensor(1.)) 等价。