矩阵的秩
打开本页面后，如果不显示公式，请刷新。
《机器学习数学基础》第2章2.5节“矩阵的秩”，介绍了矩阵的基本概念、性质以及如何用程序计算矩阵的秩。
零空间
在数学中，一个算子 的零空间是方程 的所有解 的集合。它也叫做 的核或核空间。用集合建造符号表示为
如果算子是在向量空间上的线性算子，零空间就是线性子空间。因此零空间是向量空间。
矩阵 的零空间就是所有向量的空间的线性子空间。这个线性子空间的维度叫做 的零化度（nullity），其值为矩阵 的行阶梯形矩阵中不包含支点的纵列数。
例如矩阵 ，首先将 变换为简化行阶梯形矩阵：
对所有向量 有 ，等同于 ，即：
解得： ，即
所以， 的零空间是
行秩等于列秩
《机器学习数学基础》第2章2.5节“矩阵的秩”，定义矩阵的秩时，有结论：矩阵的行秩等于列秩，即为矩阵的秩。下面对“行秩等于列秩”结论给予证明，参考文献[2]。
设 矩阵 的列秩为 ，行秩为 。
由此假设，则矩阵 中有 个线性无关的列向量，这些列向量生成了 的列空间。将这些列向量组成 的矩阵 。
设 的列向量为 ， 的列向量为 ，则 都可以用 的列向量的线性组合唯一表示：
如果将 写成矩阵，即 是 的矩阵，其行向量数即为 的列空间维数。
则矩阵 以列向量的方式，可以写成：
以 表示 的第 行，根据“以行为单元的矩阵乘法”规则，可得：
的每一行都可以表示为 的行向量的线性组合，因此 的行空间维数不大于 的行向量数，即 ，即：
的行空间维数不大于 的列空间维数。
同样的方法，可以得到 的行空间维数不大于 的列空间维数。
又因为 的行空间即为 的列空间， 的列空间即为 的行空间，所以： 的列空间维数不大于 的行空间维数，即 。
故： 。矩阵的行秩等于列秩。
有关概念
矩阵的秩表示了矩阵的“真实尺寸”，即最大的线性无关的列（行）向量的集合所包含的向量数量，通过这些向量，能够生成相应的列空间或者行空间。
如果将一个矩阵化为梯形矩阵，矩阵的秩是：
- 梯形矩阵所含主元的数量
- 非零行的数量
- 主元所在的列向量的数量
如果从矩阵的列向量的线性无关角度阐述矩阵的秩，则：
- 是矩阵最大线性无关列向量的个数
- 是矩阵最大线性无关行向量的个数
如果从空间维度的角度阐述，则：
- 矩阵的秩等于列空间的维度，
- 矩阵的值等于行空间的维数，
有关性质
关于秩的一些等式或者不等式，常用于机器学习、数据挖掘原理的证明，下面列出一些，供使用参考。
性质1
设 矩阵 ，则：
证明
是矩阵 的列秩， 是行秩，根据前述“行秩等于列秩”可知，上述等式成立。
性质2
设 矩阵 可逆， 矩阵 可逆，矩阵 是 。
等式（3.2）说明一个矩阵（如 ）左乘或者右乘可逆矩阵，它的秩不变。
证明（方法1）
假设 ，则 ，
又若 ，等号两边同时左乘 ，得：
所以 ， 与 有相同的零空间。
根据“秩—零化度定理”，可得：
所以 。
并利用（3.1）式，可知：
证明（方法2）
对于矩阵 和 ，根据性质7，可得： ，
又
所以
证毕。
性质3
设 为 矩阵， 为 阶可逆方阵， 为 阶可逆方阵，若 ，则： 。
证明
因为 可逆，且 ，根据（3.2）式可得：
性质3的逆也成立：
设 为 矩阵，且 ，则 可分解为 ，其中 是 矩阵， 是 矩阵， 是 阶可逆方阵。
性质4
设 矩阵 ，则有：
证明
对于任意 ，有 ，两边左乘 ，得：
所以， 。
由此可得 。
又若有 ，左乘 ，得
所以
即
故，最终得到
根据“矩阵子空间的正交补关系”，有 ，
所以
因此，
性质5
设 为 矩阵， 为 矩阵，则：
说明：将性质5与性质2注意区分，在性质2中，矩阵 明确说明，是可逆的。在性质5中，并没有说明矩阵 是否可逆。如果可逆，则 ，退回到性质2。
对性质5可以这样理解： 视为 的列向量与 相乘：
若 ，即 ，这样就会使 中线性无关的向量数建设，即维度（或秩）比 减少。
证明（方法1）
因为 和 都是 的子空间，设 且 是 的一组基。
由于 ，设 ，于是将 与 个列向量一起构成了 的基： 。
显然 。
接下来要证明 的秩是 ，即证明
根据本证明中第一句的假设，可以进一步表示： ，即
对于 内的任意向量 ，存在向量 ，使 成立。由于 ，则：
将上式代入 ，得：
将 的向量集记作 ，则以此向量集为基向量，可生成 列空间 ，即 。同时也说明 也属于 的列空间，则 。
若：
表明 属于 ，则一定存在一组数 ，使得：
即：
上式为 的线性组合，则 ，从而说明 各向量线性无关 ，由此基生成 列空间，其空间维度为 （5.1）式得证。
证明（方法2）
的矩阵 可以看做是线性变换 ，其中列空间为值域，即 ，零空间为 。
两个矩阵相乘 可以看做 对矩阵 的列空间 进行变换，记作： ，此变换所对应的值域为 的列空间，即 。
用向量集合关系表示：
并且， 。
根据“秩—零化度定理”得：
证毕。
性质6
矩阵 ，
证明
根据矩阵秩的定义：矩阵的秩等于线性无关的列或者行向量综述，所以，秩不大于列或行的数量。
性质7
的矩阵 和 的矩阵 ，
证明
根据性质5：
根据性质1：
因为 ，根据“秩—零化度定理”，得：
根据性质5，得：
对性质7的左侧不等式的另外一种证明：
根据“秩—零化度定理”， ，所以，如果 成立，则原不等式成立。
设线性变换 ，对于 ，有 ，或者 ，其中 。则：
而 ，且 ，则：
由于 ，线性变换 的核为 的零空间 的子空间，故 。
性质8
的矩阵 和 ，有：
证明
设 和 是向量空间 的两个子空间，令 ，则 也构成了 的一个子空间，这个子空间记作 ，并令 ，则：
即 可由子空间 和 的并集生成，
设 的一组基 ， 的一组基 ，则 的一组基
可知， 的维数不大于 ，即：
根据上述理解，对于矩阵 和 ，它们的列空间之和 包含所有的 ，其中 是任意向量。显然：
子空间的维数等于基向量的数量，所以：
由前述对 维数的讨论结果（8.1）式可知：
所以：
性质9
设矩阵 为 ， 为 ， 为 ，
证明
因为 ，则： ，得：
根据性质5：
以 取代 ：
将后面的两个等式中结论代入到前面的不等式：
本性质得证。
参考文献
[1]. https://zh.wikipedia.org/wiki/零空间
[2]. https://ccjou.wordpress.com/2009/11/13/行秩列秩
[3]. https://ccjou.wordpress.com/2010/01/14/破解矩陣秩的等式與不等式證明/
[4]. https://ccjou.wordpress.com/2014/02/17/運用輸入輸出模型活化秩─零度定理/
[5]. https://ccjou.wordpress.com/2009/09/22/利用子空間之和證明-rankab≦rank-arank-b/
作者: 老齐
链接: http://math.itdiffer.com/rank.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
