最优化方法
打开本页，如果不能显示公式，请刷新页面。
无约束优化
定义
给定一个目标函数（或称成本函数） ，无约束优化（uncontrained optimization）是指找到 使得 有最小值，即：
若希望找到最大值，将目标函数前面加负号即可。
通常，寻找 的局部最小值，即在某个范围内的最小值。
单变量的目标函数
令 为一个定义于 的光滑可导函数，其中 是一个开集，根据泰勒定理：
若 ，则 为 的一个驻点（stationary point），或称临界点（critical point）。
当 是驻点时，若 足够小，则（1.1）式近似为：
- 如果 ，则 为一个局部最小值（local minimum），即：存在一个 ，对有所 满足 都有 。
- 如果 ，则 为一个局部最大值（local maximum）。
- 如果 ，必须计算 和 的值才能决定。
所以，驻点是函数 的一个局部最小值的必要条件。
多变量的目标函数
令 为 的变量， 为定义域 的可导实函数，根据泰勒定理，得：
函数 在点 的梯度：
在 点的黑塞矩阵（Hessian） ：
则式（1.3）可以写成：
若 是一个驻点，即 ，当 足够小，（1.4）式化为：
因为：
所以 是一个对称矩阵。
若 是正定的，即 ，则 ， 是 的一个局部最小值。
若 是负定的， 是 的一个局部最大值。
- 若 是未定的，称 是鞍点（saddle point）。
梯度下降法是寻找函数局部最小值的常用方法，具体参阅参考文献[2]。
参考文献
[1]. 线代启示录：最佳化理论与正定矩阵
[2]. 齐伟. 机器学习数学基础. 北京：电子工业出版社.
作者: 老齐
链接: http://math.itdiffer.com/optimization.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
