正定矩阵

打开本页,如果不能显示公式,请刷新页面。

定义

为一个 实对称矩阵, 维非零向量,且:

则称 正定(positive definite);若上述条件为:

则称 半正定(positive semidefinite).

分析

在上述关于正定矩阵的定义中,之所以强调 是实对称矩阵,是因为任何一个实数方阵,都可以表示为一个实对称矩阵与一个反对称矩阵的和,即 (称为卡氏分解),其中:

计算可验证: 。所以, 是对称矩阵, 是反对称矩阵。

考虑:

因为 是一个标量,再利用反对称矩阵性质:

,因此

即二次型 可用对称部分表示。若 不为对称矩阵,则 为正定矩阵(即 ,对于所有 )等价于 为正定矩阵。

几何意义

  • ,则矩阵 和向量 都退化为标量 ,对任意非零的 ,有:

    显然 是正数,完整地说, 是正定的。

  • 之间的夹角 的余弦为

    点积为正值,则 ,如下图所示, 为超平面 的法向量,正定矩阵 保证变换后的向量 与原向量 都位于超平面 的同一侧。

对称正定矩阵的对角化形式 的几何解释:

  • 参考有序基 的变换矩阵即为对角矩阵 。由于每个主对角元素都大于零,对称正定矩阵具有分别拉伸各主轴(即特征向量方向)的功能,而伸缩量即为特征值。
  • 还可以认为连续执行了三个线性变换:
    1. :旋转变换
    2. :拉伸变换
    3. :逆旋转变换

定理

是一个实对称正定矩阵,则 的特征值皆为正,反之亦然。

证明

(1) 是实对称正定矩阵,令 ,其中 的特征值。

的所有列都是单范正交特征向量。

因为 正定,所以:

(2)设 。令 。因为 必定为非零向量,则:

性质

  • 性质1:正定矩阵的每一个主子阵都是正定的

证明

为了证明此性质,首先引入一种符号记法。

的子集, 表示 的补集, 表示集合 的元素数,称为基数(cardinal number)。对于所有 ,将 阶矩阵 的第 行与第 列同时删除,可得到一个 阶主子阵(principal submatrix),以 表示。例如:

下面几个都是主子阵:

对于向量 ,用 表示删除了 的补集元素后得到的向量,显然 维向量。

对于任何 ,令 的第 个元为零,则:

由于 是任意的,所以 是正定的。

  • 性质2:正定矩阵的特征值皆为整数

证明

为正定矩阵 的一个特征值,对于特征向量 ,则:

则: ,分子分母都是正数,故

拓展

由性质2可知:设 是正定矩阵 的特征值,则 可逆, 也是正定矩阵,且:

结合性质1,每个主子阵 亦有类似性质。

  • 性质3:正定矩阵的主元(pivot)都是正数
  • 性质4:正定矩阵 可以表示为 是一个可逆矩阵

判别

  • 矩阵 的特征值都是正数,则 是正定矩阵
  • 矩阵 的轴(主元)都是正数,则 是正定矩阵
  • 矩阵 的领先主子阵的行列式都是正数,则 是正定矩阵
  • 矩阵 可表示为 是一个可逆矩阵,则 是正定矩阵

参考文献

[1]. 特殊矩阵-六:正定矩阵

作者: 老齐
链接: http://math.itdiffer.com/positive_definite.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""