C++ 与 CUDA

状态:待开始,属于长期学习目标。 先做一个能完整解释的小实验。返回项目 Index

这一部分要回答什么

  • C++ 前端和 Python 调用 C++ 扩展是什么关系?
  • 张量的 shape、dtype、stride、device 与连续内存怎样影响实现?
  • 一个 CUDA kernel 怎样把工作分给 grid、block 和 thread?
  • 前向正确、算子注册正确、梯度正确为什么需要分别检查?

准备条件

先掌握 C++ 基本语法、函数、容器、引用、指针、内存与基本构建过程,再读 PyTorch C++ 前端。

普通 PyTorch GPU 运算和自己编译 CUDA 扩展是不同阶段。后者还需要匹配的本地编译工具链与 CUDA Toolkit;具体兼容关系按当时的 自定义算子教程 和安装文档确认。无 CUDA 设备时先完成 CPU 扩展。

分三步向下走

A · C++ 张量与 CPU 扩展

选一个简单浮点算子,例如 y = a × x + b,先用原生 PyTorch 表达式作为数值基准。用 C++ / ATen 完成对应实现并注册,让 Python 可以调用。

写清支持的 dtype、维度、device、连续性与广播范围。第一版可以限定输入契约,但对不支持的输入要明确报错。

B · CUDA kernel

给同一算子实现 CUDA 路径:理解线程索引、越界检查、显存读写、当前 stream 与启动配置。至少覆盖长度不是 block 大小整数倍的输入,避免只在整齐尺寸上正确。

先阅读 NVIDIA 新版 CUDA Programming Guide 的编程模型与 CUDA C++ 部分,再把线程索引公式和自己的张量索引对应起来。

C · 接回 PyTorch 的训练体系

按 官方 C++ / CUDA 算子教程 分别完成:

  1. 数值对照:与 PyTorch 基准比较不同尺寸、边界情况与合理浮点误差。
  2. 注册检查:使用 torch.library.opcheck 检查算子集成;它不会证明数学梯度正确。
  3. 训练支持:需要可微时注册 Autograd 规则,并用 gradcheck 或独立数值差分验证梯度。
  4. 性能比较:正确后再计时,包含预热与同步,比较相同工作量;一次扩展调用不保证快于已有实现。

完成标准

  • 能解释 Python 入口、算子 schema、CPU / CUDA 实现与分派关系
  • 支持范围明确,边界输入得到正确结果或清楚报错
  • 前向数值、注册和需要时的梯度有独立检查结果
  • 能画出自己的线程索引与数据索引对应关系
  • 性能结论有硬件、版本、规模与测量口径支撑

我的实践记录

待补充:选题理由、构建环境、接口契约、调用链、数值与梯度检查、性能记录。完成后再决定是否接入数字识别模型,或另开一个底层算子项目。

回到:项目 Index

所属项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。

关联知识

反向传播 从损失出发,利用链式法则计算各层参数的梯度,与优化器更新参数分工。 PyTorch(torch) 张量、自动求导、训练与推理;进阶整理参数冻结和混合精度。