手写数字识别
从一张图片出发,理解数据、模型、训练和识别怎样连成完整系统。代码由我自己写,这里记录每一步的理解、选择、实验和问题。
目前是学习规划,代码与实验待开始。阶段状态与完成证据根据后续实践更新。
从这里开始
待开始 · 0 / 6 阶段完成下一步先写清第一版任务与输入约定,再展示 25 张 MNIST 样本,记录形状、标签与数值范围
项目规格
- 目标
- 理解图片如何变成模型输入、参与训练并得到预测,亲手实现核心算法与完整识别流程
- 输入
- MNIST 的 28 × 28 灰度图片与整数标签,以及后续准备的单张自写数字图片
- 输出
- 可重载的模型、单图预测结果、训练与评估记录,以及对关键原理的独立解释
- 评价指标
- 数值与梯度检查通过,固定小样本能明显过拟合用固定数据划分报告验证与最终测试指标自写数字保留成功和失败样本,重载前后结果可对照
- 实现约束
- 第一版仅处理干净背景中的单个 0–9 数字核心实现由自己编写,先完成 CPU 上可验证的最小闭环GPU、C++ 与 CUDA 作为后续里程碑,实验结果据实填写
六阶段学习流程
先从整体理解,再按模块实现。遇到新问题可以回到前面的阶段补充,测试贯穿整个实现过程。
01定义问题Specification待开始
02系统拆解Architecture待开始
画出数据读取、预处理、模型、损失、优化、评估、保存与识别的连接关系 阶段产物
- 系统架构与数据流
- 模块职责和输入输出
- 模块依赖与实现顺序
03知识建模Knowledge Mapping待开始
当前优先补齐数组与矩阵运算、Softmax、交叉熵、链式法则和反向传播;按模块需要逐步深入 阶段产物
- 必须掌握的知识
- 需要了解与暂时后置的内容
- 前置知识与项目关联
04逐层实现Implementation待开始
先做 NumPy 线性分类器,再加入隐藏层与手写反向传播;完成闭环后用 PyTorch 等价实现核对 阶段产物
- 可独立验证的小模块
- 可运行的完整流程
- 实现选择与调试记录
05测试验证Verification待开始
用数值差分、固定输入对照、小样本过拟合、重载检查和保留测试集逐层验证;测试伴随实现进行 阶段产物
- 模块与集成检查
- 基线、指标与实验配置
- 错误分析及修正证据
06独立重构Reconstruction待开始
合上参考代码,独立解释并重建核心流程;改变一个设计因素,记录预期与对照实验 阶段产物
- 独立解释与核心实现
- 设计改动与对照实验
- 复盘和仍未解决的问题
模块与实现路径
先用 NumPy 完成线性分类器和 MLP 的核心训练逻辑,再用 PyTorch 对照。GPU 执行与 C++ / CUDA 作为后续独立里程碑;各模块保留具体做法与实验记录。
01 · 环境与数据配置独立 Python 环境,读取 MNIST,理解图片、标签、Dataset、DataLoader 与固定数据划分。待开始02 · 图片预处理为 MNIST 和自写数字定义统一输入契约,处理灰度、透明背景、反色、裁剪、缩放、居中与标准化。待开始03 · 神经网络从 MLP 基线到小型 CNN,逐层理解张量形状、可学习参数、非线性、池化与分类 logits。待开始04 · 训练循环搭建并理解前向、交叉熵、反向传播、梯度清零与优化器更新,先做微型过拟合实验再完整训练。待开始05 · 评估与保存使用验证集选模型,分析混淆矩阵与错分,保存模型和输入配置,并在独立进程重载验证。待开始06 · 识别自己的数字把自己的单张手写图接入模型,展示预处理预览、预测与类别分布,并分析真实输入的分布差异。待开始07 · GPU 执行与性能在 eager 模式下追踪 Python、ATen、Dispatcher 与 CUDA kernel,理解数据传输、异步执行和正确计时。待开始08 · C++ 与 CUDA用一个小算子连接 Python、C++、ATen、Dispatcher 与 CUDA;分别验证数值、注册、梯度与性能。待开始09 · 独立重构与复盘脱离参考实现重建核心流程,用设计改动和对照实验检查自己的理解。待开始
关联知识
链式法则 复合函数的导数怎样沿依赖关系传递,是理解反向传播的基础。 反向传播 从损失出发,利用链式法则计算各层参数的梯度,与优化器更新参数分工。 Softmax 与交叉熵 理解分类 logits、类别分布、监督损失与数值稳定性,连接手写实现与框架接口。 PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。 NumPy 数组创建、索引、广播与统计;进阶整理视图、einsum 和局部排序。 Matplotlib 折线、散点、直方图与导出;进阶整理双轴、布局和局部样式。 Pillow 图片读写、缩放、裁剪与颜色转换;进阶整理 EXIF 方向、透明叠加和固定尺寸封面。 scikit-learn 数据划分、Pipeline、分类评估与交叉验证;进阶整理参数搜索和混合特征处理。
实践记录
还没有实践记录可以先记本次做了什么、卡在哪里、下一步准备做什么;完成后再把结论补回模块与知识笔记。