训练循环

状态:待开始。 目标是知道参数为什么变,而不只是看到进度条。返回项目 Index

这一部分要回答什么

  • loss、accuracy、梯度和学习率分别是什么?
  • backward() 与 optimizer.step() 有什么不同?
  • 为什么每步通常需要清空梯度?
  • 一个 batch、一个 step、一个 epoch 如何对应?

输入与输出

输入是模型、训练 DataLoader、损失函数、优化器和实验配置。输出是参数更新后的模型、逐轮训练 / 验证指标,以及可复查的日志。

动手任务

NumPy 阶段先手算并实现线性分类器的交叉熵梯度与 SGD,再逐步加入隐藏层的反向传播;用数值差分检查。PyTorch 阶段在固定输入和权重下对照输出、损失与梯度,再完成下面的自动求导训练循环。

  1. 用一个简单标量或线性表达式理解 Autograd,观察 .grad 的产生与累积,再回到模型参数。参考 自动求导教程。
  2. 自己写出单个 batch 的五步:清零 → 前向 → loss → backward → step。确认输入和标签位于正确设备。
  3. 整数标签采用 [B]、torch.long、0–9;把 [B,10] logits 直接交给 CrossEntropyLoss。
  4. 保存某个参数更新前后的值,确认只反向计算时有梯度,优化器更新后参数才改变。遇到零梯度时结合激活与所选参数分析。
  5. 固定 32–128 张样本、关闭随机增强,做微型过拟合实验。若训练 loss 不明显下降,先排查流程。
  6. 再接入完整训练和每轮验证。按样本数累计 loss 与正确数量,绘制曲线;对比实验一次优先改变一个因素。

训练 / 验证模式的切换及优化流程可查 优化循环教程。先选一个优化器建立基线,记录学习率、batch size、epoch、seed 与结构,再研究更多技巧。

完成标准

  • 能用自己的话解释一次训练 step
  • 参数梯度与更新前后差异可观察,loss 为有限数值
  • 固定小样本能够明显过拟合;这个结果没有被当作泛化指标
  • 验证阶段不更新参数,下一轮能恢复 train 模式
  • 有训练 / 验证曲线与对应配置,能追溯每一次实验

我的实践记录

待补充:标量求导观察、微型实验、单步参数变化、完整训练配置、曲线、异常与修正。请填真实结果,不预填目标准确率。

下一步:05 · 评估与保存

所属项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。

关联知识

反向传播 从损失出发,利用链式法则计算各层参数的梯度,与优化器更新参数分工。 链式法则 复合函数的导数怎样沿依赖关系传递,是理解反向传播的基础。 Softmax 与交叉熵 理解分类 logits、类别分布、监督损失与数值稳定性,连接手写实现与框架接口。 PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。