二次型

打开本页,如果没有显示公式,请刷新页面。

定义

阶实矩阵, 维实向量,具有以下形式的实函数称为二次型(quadritic form):

  • 二次型 是一个标量

  • 任意二次型 都可以转化为等价的 ,其中 是一个实对称矩阵。

    证明

    ,则 有相同的二次型,且 是对称矩阵。

在二次型的基础上,可以建立正定矩阵的概念。

是一个实对称矩阵,且任一 满足 ,称 是正定的。

二次型最大化

是一个实对称矩阵,最大化 满足

证明

法1:

这是一个有约束最优化问题,可以用拉格朗日乘数法 解决。

产生极值的必要条件是 的一个驻点 。因为 ,则有:

实对称矩阵的特征值必为实数,因此,使二次型最大化的向量 即为对应最大特征值的特征向量。

法2:

利用实对称矩阵是正交可对角化的性质来分解二次型。

是正交特征向量矩阵,

,则:

因为 是正交矩阵,

的最大值即为 的最大特征值。

主成分分析

主成分分析(principal components analysis,PCA)是二次型最大化的应用。

设:

协方差矩阵的元素为:

其中 的期望值。因此 ,协方差矩阵是对称矩阵。

,则协方差矩阵可化简为:

主成分分析的目的在于寻找单位向量 使随机变量 方向的投影具有最大值。因为 的期望值为 为常数向量,所以可以有:

所以:

对于任意非零 。等号右侧展开:

协方差矩阵 是半正定矩阵,故其特征值不为负,对应 最大特征值的特征向量指向最大投影方差的方向,如下图:

注:此处仅仅将主成分分析作为二次型的应用给予简要说明,如果要深入理解主城分析的数学原理,请参阅参考资料【4】。

参考资料

[1]. 现代启示录:二次型与正定矩阵

[2]. 拉格朗日乘数

[3]. 驻点

[4]. 主成分分析

作者: 老齐
链接: http://math.itdiffer.com/quadratic_form.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""