最优化方法

打开本页,如果不能显示公式,请刷新页面。

无约束优化

定义

给定一个目标函数(或称成本函数) ,无约束优化(uncontrained optimization)是指找到 使得 有最小值,即:

若希望找到最大值,将目标函数前面加负号即可。

通常,寻找 的局部最小值,即在某个范围内的最小值。

单变量的目标函数

为一个定义于 的光滑可导函数,其中 是一个开集,根据泰勒定理:

,则 的一个驻点(stationary point),或称临界点(critical point)。

是驻点时,若 足够小,则(1.1)式近似为:

  • 如果 ,则 为一个局部最小值(local minimum),即:存在一个 ,对有所 满足 都有
  • 如果 ,则 为一个局部最大值(local maximum)。
  • 如果 ,必须计算 的值才能决定。

所以,驻点是函数 的一个局部最小值的必要条件。

多变量的目标函数

的变量, 为定义域 的可导实函数,根据泰勒定理,得:

函数 在点 的梯度

点的黑塞矩阵(Hessian)

则式(1.3)可以写成:

是一个驻点,即 ,当 足够小,(1.4)式化为:

因为:

所以 是一个对称矩阵。

  • 是正定的,即 ,则 的一个局部最小值。

  • 是负定的, 的一个局部最大值。

  • 是未定的,称 是鞍点(saddle point)。

梯度下降法是寻找函数局部最小值的常用方法,具体参阅参考文献[2]。

参考文献

[1]. 线代启示录:最佳化理论与正定矩阵

[2]. 齐伟. 机器学习数学基础. 北京:电子工业出版社.

作者: 老齐
链接: http://math.itdiffer.com/optimization.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""