神经网络训练基础：反向传播算法推导

正向传播

• 第一层

• 第二层

• 第三层

反向传播

• 计算预测结果和真实标签的误差（δ ）

  

• 计算每个神经元的误差（δ ）

• 第一层

  

• 第二层

  

• 开始利用反向传播的误差，计算各个神经元（权重）的导数，开始反向传播修改权重

  

  

具体例子

• 正向运算（激活函数为sigmoid）

• 反向传播（求网络误差对各个权重参数的梯度）

  

• 导数（梯度）已经计算出来了，下面就是反向传播与参数更新过程

  

• 求误差E对w1的导数