本篇博客主要讲解 BatchNorm 函数的执行过程，需要读者有一定的批归一化的基础，本文例子通俗易懂，如果没有基础也可以阅读 在 PyTorc...

1. 具体定义 从其他的文章中我们可以了解到极大似然估计和最大后验概率估计的公式，这里不做介绍直接给出 极大似然估计 MLE：$P(D|\t...

1. add_param_group() add_param_group() 此函数是向 optimizer 中添加优化参数 param 参...

在optimizer 优化器一节中讲解了四个优化器，分别是 GD, SGD, SGDM, Adagrad, RMSProp, Adam，在 P...

本文用最小二乘法来简述 PyTorch 中的梯度下降具体执行过程 之前已经推到过最小二乘法的矩阵求导过程：链接 1. 数学形式 之前虽然知道矩...

本文主要讲解 各种优化器 ，对应的 PyTorch 实现放在下篇 torch.optim 1. GD GD（gradient descent）梯...

1. Linear torch.nn.Linear(in_features, out_features, bias=True) in_feat...

1. shape && size shape 和 size 是在 numpy 中使用的属性/方法 shape：返回矩阵的形状...

PyTorch 并行计算 nn.DataParallel 1.1 官网实例 PyTorch 官网的例子:DATA PARALLELISM Py...

一般我们使用 git 进行上传或者下载时会很慢，连接错误，设置好代理以后就会很快，如果用如下命令需要每次都设置代理，很麻烦 git confi...