链式法则
复合函数中,一个变量会通过中间变量影响最终结果。链式法则把这条影响路径上各段的局部导数相乘。
最小例子
令 ,,则:
多条路径同时影响结果时,要把各条路径的贡献相加。神经网络的反向传播就是沿计算依赖传递并汇总这些梯度。
在项目里怎样验证
先手算一个只有两三步运算的函数,再用有限差分或自动求导核对结果。注意区分函数值、局部导数和传回上一层的梯度。
我的理解与问题
后续补充自己的推导、矩阵求导练习与仍不熟悉的部分。
复合函数中,一个变量会通过中间变量影响最终结果。链式法则把这条影响路径上各段的局部导数相乘。
令 ,,则:
多条路径同时影响结果时,要把各条路径的贡献相加。神经网络的反向传播就是沿计算依赖传递并汇总这些梯度。
先手算一个只有两三步运算的函数,再用有限差分或自动求导核对结果。注意区分函数值、局部导数和传回上一层的梯度。
后续补充自己的推导、矩阵求导练习与仍不熟悉的部分。