梯度下降（二维坐标）

目标函数

$$ f(x) = \frac{1}{2}x^2 - 5x + 15 $$

$$ f'(x) = x - 5 \quad\quad\quad\quad $$

参数设置

$$ x : $$

$$ \alpha : $$

参数更新公式

$$ x_n = x_{n-1} - \alpha*f'(x) $$

= 12 - 0.1 * (7) = 11.3

梯度下降（三维坐标）

目标函数(示例)

$$ y = \omega_0 + \omega_1x $$

损失函数

$$ loss = \frac{1}{2}\sum_{i=1}^{n}(\omega_0 + \omega_1x_i - y_i)^2 $$

梯度

\[ \left [ \frac{\partial{loss}}{\partial{w_0}}, \frac{\partial{loss}}{\partial{w_1}} \right ] \] = [-20.9, -19.06]

参数设置

\[w_0:\]

\[w_1:\]