矩阵的秩

打开本页面后,如果不显示公式,请刷新。

《机器学习数学基础》第2章2.5节“矩阵的秩”,介绍了矩阵的基本概念、性质以及如何用程序计算矩阵的秩。

零空间

在数学中,一个算子 的零空间是方程 的所有解 的集合。它也叫做 的核或核空间。用集合建造符号表示为

如果算子是在向量空间上的线性算子,零空间就是线性子空间。因此零空间是向量空间。

矩阵 的零空间就是所有向量的空间的线性子空间。这个线性子空间的维度叫做 零化度(nullity),其值为矩阵 的行阶梯形矩阵中不包含支点的纵列数

例如矩阵 ,首先将 变换为简化行阶梯形矩阵:

对所有向量 ,等同于 ,即:

解得: ,即

所以, 的零空间是

行秩等于列秩

《机器学习数学基础》第2章2.5节“矩阵的秩”,定义矩阵的秩时,有结论:矩阵的行秩等于列秩,即为矩阵的秩。下面对“行秩等于列秩”结论给予证明,参考文献[2]。

矩阵 的列秩为 ,行秩为

由此假设,则矩阵 中有 个线性无关的列向量,这些列向量生成了 的列空间。将这些列向量组成 的矩阵

的列向量为 的列向量为 ,则 都可以用 的列向量的线性组合唯一表示:

如果将 写成矩阵,即 的矩阵,其行向量数即为 的列空间维数。

则矩阵 以列向量的方式,可以写成:

表示 的第 行,根据“以行为单元的矩阵乘法”规则,可得:

的每一行都可以表示为 的行向量的线性组合,因此 的行空间维数不大于 的行向量数,即 ,即:

的行空间维数不大于 的列空间维数

同样的方法,可以得到 的行空间维数不大于 的列空间维数。

又因为 的行空间即为 的列空间, 的列空间即为 的行空间,所以: 的列空间维数不大于 的行空间维数,即

故: 。矩阵的行秩等于列秩。

有关概念

矩阵的秩表示了矩阵的“真实尺寸”,即最大的线性无关的列(行)向量的集合所包含的向量数量,通过这些向量,能够生成相应的列空间或者行空间。

如果将一个矩阵化为梯形矩阵,矩阵的秩是:

  • 梯形矩阵所含主元的数量
  • 非零行的数量
  • 主元所在的列向量的数量

如果从矩阵的列向量的线性无关角度阐述矩阵的秩,则:

  • 是矩阵最大线性无关列向量的个数
  • 是矩阵最大线性无关行向量的个数

如果从空间维度的角度阐述,则:

  • 矩阵的秩等于列空间的维度,
  • 矩阵的值等于行空间的维数,

有关性质

关于秩的一些等式或者不等式,常用于机器学习、数据挖掘原理的证明,下面列出一些,供使用参考

性质1

矩阵 ,则:

证明

是矩阵 的列秩, 是行秩,根据前述“行秩等于列秩”可知,上述等式成立。

性质2

矩阵 可逆, 矩阵 可逆,矩阵

等式(3.2)说明一个矩阵(如 )左乘或者右乘可逆矩阵,它的秩不变。

证明(方法1)

假设 ,则

又若 ,等号两边同时左乘 ,得:

所以 有相同的零空间。

根据“秩—零化度定理”,可得:

所以

并利用(3.1)式,可知:

证明(方法2)

对于矩阵 ,根据性质7,可得:

所以

证毕。

性质3

矩阵, 阶可逆方阵, 阶可逆方阵,若 ,则:

证明

因为 可逆,且 ,根据(3.2)式可得:

性质3的逆也成立:

矩阵,且 ,则 可分解为 ,其中 矩阵, 矩阵, 阶可逆方阵。

性质4

矩阵 ,则有:

证明

对于任意 ,有 ,两边左乘 ,得:

所以,

由此可得

又若有 ,左乘 ,得

所以

故,最终得到

根据“矩阵子空间的正交补关系”,有

所以

因此,

性质5

矩阵, 矩阵,则:

说明:将性质5与性质2注意区分,在性质2中,矩阵 明确说明,是可逆的。在性质5中,并没有说明矩阵 是否可逆。如果可逆,则 ,退回到性质2。

对性质5可以这样理解: 视为 的列向量与 相乘:

,即 ,这样就会使 中线性无关的向量数建设,即维度(或秩)比 减少。

证明(方法1)

因为 都是 的子空间,设 的一组基。

由于 ,设 ,于是将 个列向量一起构成了 的基:

显然

接下来要证明 的秩是 ,即证明

根据本证明中第一句的假设,可以进一步表示: ,即

对于 内的任意向量 ,存在向量 ,使 成立。由于 ,则:

将上式代入 ,得:

的向量集记作 ,则以此向量集为基向量,可生成 列空间 ,即 。同时也说明 也属于 的列空间,则

若:

表明 属于 ,则一定存在一组数 ,使得:

即:

上式为 的线性组合,则 ,从而说明 各向量线性无关 ,由此基生成 列空间,其空间维度为 (5.1)式得证。

证明(方法2)

的矩阵 可以看做是线性变换 ,其中列空间为值域,即 ,零空间为

两个矩阵相乘 可以看做 对矩阵 的列空间 进行变换,记作: ,此变换所对应的值域为 的列空间,即

用向量集合关系表示:

并且,

根据“秩—零化度定理”得:

证毕。

性质6

矩阵

证明

根据矩阵秩的定义:矩阵的秩等于线性无关的列或者行向量综述,所以,秩不大于列或行的数量。

性质7

的矩阵 的矩阵

证明

根据性质5:

根据性质1:

因为 ,根据“秩—零化度定理”,得:

根据性质5,得:

对性质7的左侧不等式的另外一种证明:

根据“秩—零化度定理”, ,所以,如果 成立,则原不等式成立。

设线性变换 ,对于 ,有 ,或者 ,其中 。则:

,且 ,则:

由于 ,线性变换 的核为 的零空间 的子空间,故

性质8

的矩阵 ,有:

证明

是向量空间 的两个子空间,令 ,则 也构成了 的一个子空间,这个子空间记作 ,并令 ,则:

可由子空间 的并集生成,

的一组基 的一组基 ,则 的一组基

可知, 的维数不大于 ,即:

根据上述理解,对于矩阵 ,它们的列空间之和 包含所有的 ,其中 是任意向量。显然:

子空间的维数等于基向量的数量,所以:

由前述对 维数的讨论结果(8.1)式可知:

所以:

性质9

设矩阵

证明

因为 ,则: ,得:

根据性质5:

取代

将后面的两个等式中结论代入到前面的不等式:

本性质得证。

参考文献

[1]. https://zh.wikipedia.org/wiki/零空间

[2]. https://ccjou.wordpress.com/2009/11/13/行秩列秩

[3]. https://ccjou.wordpress.com/2010/01/14/破解矩陣秩的等式與不等式證明/

[4]. https://ccjou.wordpress.com/2014/02/17/運用輸入輸出模型活化秩─零度定理/

[5]. https://ccjou.wordpress.com/2009/09/22/利用子空間之和證明-rankab≦rank-arank-b/

作者: 老齐
链接: http://math.itdiffer.com/rank.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""