神经网络

状态:待开始。 先解释每一层,再比较结构。返回项目 Index

这一部分要回答什么

  • 一个线性层究竟在计算什么,权重与偏置分别是什么?
  • 为什么要加 ReLU?卷积与展平后的全连接有什么不同?
  • 哪些层有可学习参数,哪些只有固定操作?
  • 为什么输出是十个 logits,而不是直接输出一个整数?

输入与输出

模型接收 [B,1,28,28] 的 float32 张量,输出 [B,10] 的 logits。模型内部不读取图片文件、不做训练循环,也不负责最终展示。

动手任务

先用 NumPy 写出线性分类器的前向,再加入隐藏层与非线性;梯度与更新放到训练模块完成。下面的 PyTorch MLP / CNN 作为等价实现与后续结构比较,分别保留记录。

  1. 写出 MLP 基线:Flatten → Linear(784,128) → ReLU → Linear(128,10)。自己画出矩阵乘法的维度。
  2. 用假输入完成前向计算,依次检查 B=1、普通 batch 和较小 batch。避免无意中把 batch 维挤掉。
  3. 检查模型参数是否注册在 nn.Module 中,打印参数名称、形状与总数,并手算一个线性层的参数量。
  4. 再按 整体把握中的 CNN 形状表 写小型 CNN,逐层记录输出形状。
  5. 画出两种网络的输入 / 输出和结构差异,为后续在相同数据划分上的训练比较做准备。

从 nn.Module、层与 forward 的关系开始读 构建模型教程;随用随查本站 PyTorch 笔记。

完成标准

  • MLP 与 CNN 都能接受不同 batch 大小并输出 [B,10]
  • 能解释每一步形状变化,CNN 展平后是 1568 维
  • 能区分参数、激活值、输入与超参数
  • 最后一层输出原始分数,不在 CrossEntropyLoss 前重复 softmax
  • 结构配置有记录,后续可以重建相同模型

我的实践记录

待补充:结构图、逐层形状、参数量、设计原因、代码位置与前向检查结果。训练比较完成后再补真实性能结果。

下一步:04 · 训练循环

所属项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。

关联知识

Softmax 与交叉熵 理解分类 logits、类别分布、监督损失与数值稳定性,连接手写实现与框架接口。 NumPy 数组创建、索引、广播与统计;进阶整理视图、einsum 和局部排序。 PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。