评估与保存

状态:待开始。 让结果可信,也让模型下次还能用。返回项目 Index

这一部分要回答什么

  • 总准确率之外,还应该看什么?
  • 验证集与测试集为什么分开?
  • eval() 和关闭梯度记录为什么不是一回事?
  • 只保存权重为什么还不足以描述整个识别流程?

输入与输出

输入是训练过程中的候选权重和固定评估数据。输出是选定的权重、配套配置、最终测试报告、错分分析和重载对照结果。

动手任务

  1. 验证时调用 model.eval(),在 no_grad() 或 inference_mode() 下计算。确认没有意外优化器更新。
  2. 记录平均 loss、总准确率、每类样本数与正确率;画混淆矩阵,标清横纵轴是真实还是预测类别。
  3. 展示一组错分图、真实标签和预测值。区分模糊字形、输入处理问题与模型欠拟合 / 过拟合。
  4. 按预先确定的验证指标选最佳权重,保存独立快照。固定方案后在原测试集做最终评估。
  5. 保存 state_dict、结构、类别映射、预处理配置、依赖版本与实验配置;需要续训时再加优化器、训练位置与随机状态等信息。
  6. 重开独立进程重建并加载模型,对固定样本比较重载前后输出。记录设备与数值误差,再检查预测是否一致。

保存与加载以 PyTorch 官方说明 为准。模型结构与输入处理也要随版本保存。图表可用本站 Matplotlib;如果使用 scikit-learn,混淆矩阵接口见 官方文档。

完成标准

  • 最佳权重依据验证集选择,测试集没有参与反复调参
  • 报告包含配置、划分、指标和代表性错分图
  • 评估前后模型参数未改变
  • 独立进程可以重载,固定输入输出在合理容差内一致
  • 能区分“用于推理的保存包”和“用于续训的 checkpoint”

我的实践记录

待补充:最佳轮次与选择理由、最终报告、混淆矩阵、典型错误、保存内容、重载对照和结论。

下一步:06 · 识别自己的数字

所属项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。

关联知识

PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。 Matplotlib 折线、散点、直方图与导出;进阶整理双轴、布局和局部样式。 scikit-learn 数据划分、Pipeline、分类评估与交叉验证;进阶整理参数搜索和混合特征处理。