训练循环
状态:待开始。 目标是知道参数为什么变,而不只是看到进度条。返回项目 Index
这一部分要回答什么
- loss、accuracy、梯度和学习率分别是什么?
backward()与optimizer.step()有什么不同?- 为什么每步通常需要清空梯度?
- 一个 batch、一个 step、一个 epoch 如何对应?
输入与输出
输入是模型、训练 DataLoader、损失函数、优化器和实验配置。输出是参数更新后的模型、逐轮训练 / 验证指标,以及可复查的日志。
动手任务
NumPy 阶段先手算并实现线性分类器的交叉熵梯度与 SGD,再逐步加入隐藏层的反向传播;用数值差分检查。PyTorch 阶段在固定输入和权重下对照输出、损失与梯度,再完成下面的自动求导训练循环。
- 用一个简单标量或线性表达式理解 Autograd,观察
.grad的产生与累积,再回到模型参数。参考 自动求导教程。 - 自己写出单个 batch 的五步:清零 → 前向 → loss → backward → step。确认输入和标签位于正确设备。
- 整数标签采用
[B]、torch.long、0–9;把[B,10]logits 直接交给 CrossEntropyLoss。 - 保存某个参数更新前后的值,确认只反向计算时有梯度,优化器更新后参数才改变。遇到零梯度时结合激活与所选参数分析。
- 固定 32–128 张样本、关闭随机增强,做微型过拟合实验。若训练 loss 不明显下降,先排查流程。
- 再接入完整训练和每轮验证。按样本数累计 loss 与正确数量,绘制曲线;对比实验一次优先改变一个因素。
训练 / 验证模式的切换及优化流程可查 优化循环教程。先选一个优化器建立基线,记录学习率、batch size、epoch、seed 与结构,再研究更多技巧。
完成标准
- 能用自己的话解释一次训练 step
- 参数梯度与更新前后差异可观察,loss 为有限数值
- 固定小样本能够明显过拟合;这个结果没有被当作泛化指标
- 验证阶段不更新参数,下一轮能恢复 train 模式
- 有训练 / 验证曲线与对应配置,能追溯每一次实验
我的实践记录
待补充:标量求导观察、微型实验、单步参数变化、完整训练配置、曲线、异常与修正。请填真实结果,不预填目标准确率。
下一步:05 · 评估与保存