反向传播
反向传播沿前向计算形成的依赖关系,把损失对输出的梯度逐层传回,得到每个可学习参数的梯度。
放回训练流程理解
前向传播计算预测和损失;反向传播计算梯度;优化器依据梯度更新参数。PyTorch 中常见的 loss.backward() 和 optimizer.step() 对应后两项,职责不同。
如果同一参数通过多条路径参与损失计算,它收到的梯度需要相加。普通按批训练还要处理梯度清零,避免无意累积上一批的结果。见 PyTorch 自动求导教程。
在项目里怎样验证
- 选择一个小型 MLP,写出每层的输入、输出和梯度形状。
- 在固定输入和权重下,比较手写梯度与数值差分。
- 使用相同输入和权重,与 PyTorch 自动求导作对照。
- 检查小样本能否明显过拟合,再研究完整训练表现。
我的理解与问题
后续补充自己的推导、实现位置、梯度检查结果和错误分析。