二次型
打开本页，如果没有显示公式，请刷新页面。
定义
令 为 阶实矩阵， 为 维实向量，具有以下形式的实函数称为二次型（quadritic form）:
二次型 是一个标量
任意二次型 都可以转化为等价的 ，其中 是一个实对称矩阵。
证明
令 ，则 与 有相同的二次型，且 是对称矩阵。
在二次型的基础上，可以建立正定矩阵的概念。
若 是一个实对称矩阵，且任一 满足 ，称 是正定的。
二次型最大化
设 是一个实对称矩阵，最大化 ， 满足 。
证明
法1：
这是一个有约束最优化问题，可以用拉格朗日乘数法 解决。
产生极值的必要条件是 是 的一个驻点 。因为 ，则有：
实对称矩阵的特征值必为实数，因此，使二次型最大化的向量 即为对应最大特征值的特征向量。
法2：
利用实对称矩阵是正交可对角化的性质来分解二次型。
设 ， 是正交特征向量矩阵， ， 。
令 ，则：
因为 是正交矩阵，
的最大值即为 的最大特征值。
主成分分析
主成分分析（principal components analysis，PCA）是二次型最大化的应用。
设：
协方差矩阵的元素为：
其中 为 的期望值。因此 ，协方差矩阵是对称矩阵。
设 ，则协方差矩阵可化简为：
主成分分析的目的在于寻找单位向量 使随机变量 在 方向的投影具有最大值。因为 的期望值为 ， 为常数向量，所以可以有：
所以：
对于任意非零 ， 。等号右侧展开：
协方差矩阵 是半正定矩阵，故其特征值不为负，对应 最大特征值的特征向量指向最大投影方差的方向，如下图：
注：此处仅仅将主成分分析作为二次型的应用给予简要说明，如果要深入理解主城分析的数学原理，请参阅参考资料【4】。
参考资料
[1]. 现代启示录：二次型与正定矩阵
[2]. 拉格朗日乘数
[3]. 驻点
[4]. 主成分分析
作者: 老齐
链接: http://math.itdiffer.com/quadratic_form.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
