神经网络
状态:待开始。 先解释每一层,再比较结构。返回项目 Index
这一部分要回答什么
- 一个线性层究竟在计算什么,权重与偏置分别是什么?
- 为什么要加 ReLU?卷积与展平后的全连接有什么不同?
- 哪些层有可学习参数,哪些只有固定操作?
- 为什么输出是十个 logits,而不是直接输出一个整数?
输入与输出
模型接收 [B,1,28,28] 的 float32 张量,输出 [B,10] 的 logits。模型内部不读取图片文件、不做训练循环,也不负责最终展示。
动手任务
先用 NumPy 写出线性分类器的前向,再加入隐藏层与非线性;梯度与更新放到训练模块完成。下面的 PyTorch MLP / CNN 作为等价实现与后续结构比较,分别保留记录。
- 写出 MLP 基线:Flatten → Linear(784,128) → ReLU → Linear(128,10)。自己画出矩阵乘法的维度。
- 用假输入完成前向计算,依次检查
B=1、普通 batch 和较小 batch。避免无意中把 batch 维挤掉。 - 检查模型参数是否注册在
nn.Module中,打印参数名称、形状与总数,并手算一个线性层的参数量。 - 再按 整体把握中的 CNN 形状表 写小型 CNN,逐层记录输出形状。
- 画出两种网络的输入 / 输出和结构差异,为后续在相同数据划分上的训练比较做准备。
从 nn.Module、层与 forward 的关系开始读 构建模型教程;随用随查本站 PyTorch 笔记。
完成标准
- MLP 与 CNN 都能接受不同 batch 大小并输出
[B,10] - 能解释每一步形状变化,CNN 展平后是 1568 维
- 能区分参数、激活值、输入与超参数
- 最后一层输出原始分数,不在 CrossEntropyLoss 前重复 softmax
- 结构配置有记录,后续可以重建相同模型
我的实践记录
待补充:结构图、逐层形状、参数量、设计原因、代码位置与前向检查结果。训练比较完成后再补真实性能结果。
下一步:04 · 训练循环