GPU 执行与性能

状态:待开始,属于深入阶段。 使用已经跑通的模型观察执行证据。返回项目 Index

这一部分要回答什么

  • 调用 Python 模型时,CPU 和 GPU 分别做什么?
  • .to('cuda') 改变了什么,为什么数据传输也需要时间?
  • 一个 aten:: 算子和一个 kernel 是否总是一一对应?
  • 单张图和大 batch 的性能为什么可能不同?

输入与输出

输入是已验证的模型、固定输入与明确的设备环境。输出是一份分项计时、CPU / GPU 对照,以及能解释的性能 trace。没有兼容的 NVIDIA GPU 时,先完成 CPU 算子观察,CUDA 项保留待做。

动手任务

  1. 回看 执行链路图。打印模型参数、输入、标签的 device,分别确认数据在哪。
  2. 以 eager 模式为基线,固定输入、dtype、batch 和权重;先验证 CPU 与可用时 GPU 的结果在合理容差内一致。
  3. 分开测量加载 / 预处理、CPU→GPU 复制、纯前向、结果取回和端到端时间。测量前预热,重复多次,记录统计口径。
  4. GPU 计时使用 CUDA Event 或在合适位置同步。理解 Python 提交完成与 GPU 计算完成的区别;参考 CUDA semantics。
  5. 用 torch.profiler 标记处理区间,记录算子形状、内存与可用时的 CUDA 活动,导出 trace。
  6. 挑一个卷积或矩阵乘法相关事件,记录 Python 调用、ATen 名称、对应 kernel 与复制 / 同步;底层实现以本次 trace 和当前版本源码为准。
  7. 比较 batch=1 与更大 batch 的延迟和吞吐量。分别报告测试条件,解释初始化、传输和启动开销,不预设 GPU 一定更快。

先用 Dispatcher 教程 理解分派概念。Profiler 的工具开销与首次采样也会影响数值,因此普通计时与诊断 trace 分开保留。

完成标准

  • 能说明 Python 控制流、CPU 张量计算、GPU kernel 的职责
  • 计时包含预热、重复、同步策略与范围说明
  • 记录 batch、dtype、版本、硬件、延迟与吞吐量口径
  • trace 中至少解释一个算子;可用 CUDA 时再关联一次 kernel / 复制
  • 能指出观测证据与自己的推测分别是什么

我的实践记录

待补充:设备环境、分项表格、trace 截图或文件、事件解释、性能瓶颈与下一步实验。

下一步:08 · C++ 与 CUDA

所属项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。

关联知识

PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。