直和与投影
打开本页后，若未显示公式，请刷新页面，之后即可显示。
容斥定理
子空间的和
向量空间 的两个特殊子空间： ，另外一个是 自身。
是任何向量空间的子空间。
设 、 分别是 的两个子空间，若 ，则称这两个子空间无交集。
命题1： 是 的一个子空间。
证明
因为 ，所以 。
设 ，根据子空间性质，可知：
所以 满足向量加法和数量乘法封闭，则为一个子空间。
但要注意 不一定是子空间。
定义 与 的子空间的和：
容斥定理
子空间的交集 与子空间的和 和子空间 的维度关系：
（1.1）式称为容斥定理。
证明
设 为 的一组基， 为 的一组基。令矩阵 的列向量：
显然，子空间的和 即为 的列空间，所以：
对于 的零空间 中的向量 ， ， 即：
则有：
（1.2）式说明， 且 ，故 。
将上述推理反过来，也成立。
所以，子空间的交集 是 的零空间 ，于是有：
。
根据“秩—零化度定理”，可得：
其中， 。
在结合（1.3）和（1.4）式，（1.1）式得证。
直和
补子空间
定义
设 是向量空间 的子空间，如果 且 ，则称 是 的补子空间（complementary subspace），简称“补空间”。
根据上述定义，可知：
根据（1.1）式可知：
又因为 ，所以：
举例
如下图所示， 是一个过原点的平面， 是一条过原点的直线，它们构成了 的子空间，且 。
设 ，根据平行四边形法则，可以计算 ，则必能充满整个 ，即 。
由此可知，向量空间 可由两个不相交的子空间构成。
定义
如果 是向量空间 的子空间 的补子空间，则称 是 与 的直和（direct sum），记作： 。
性质
性质1： 且
根据定义可得此性质。
性质2： 对于任意 ，存在唯一向量 ，使得
证明
根据性质1，得： 。
假设对于 可以表示为 ，其中 ，则：
即
又因为
所以 且
证毕。
性质3： 分别是 和 的一组基， （表示空集合）， 为 的一组基
证明
根据 ，则 生成 ，也必定生成 。
设：
根据性质2，可得： 且
所以
故 中向量为线性无关，是 的一组基。
维数关系
投影
在《机器学习数学基础》第3章3.4.4节专门介绍了正交投影，此处用直和的概念，将“投影”概念一般化，并不仅仅局限于“正交”的情况。
定义
设 ，对于 ，根据性质2，有唯一向量 ，使得 。则称 为向量 沿着 至 的投影， 为向量 沿着 至 的投影。
如果子空间 正交于 ，则称之为正交投影（orthogonal projection）。
投影矩阵
令 阶方阵 为投影矩阵 ，或称为投影算子（projector）。
设 ， 的一组基为 ， 的一组基 。
令 阶矩阵 ， 矩阵 ， 为 阶可逆矩阵。则沿着 向 的投影矩阵 的计算公式：
命题1： 在 中，沿着 至 的投影矩阵具有唯一性（沿着其他子空间亦然，此处仅以这两个空间为例）
证明
设两个投影矩阵 ，根据（3.1）式，有：
当 时上式均成立，所以，
两边右乘 得：
投影矩阵的判定
是幂等（idempotent）矩阵， 线性变换 是投影矩阵
证明
（1）证明
设 是沿着 到 的投影矩阵，对于任意向量 ，设 。
计算：
因为 是任意向量，所以 。
（2）证明
对任意向量 ，有：
其中
因为 ，所以 ，即：
所以，
于是有： 。
设任意向量 ，则 且
因为 ，可得
又因为 ，所以 。
故： 。
所以：
性质
直和是一种分解向量空间的方法。设 ， 是沿着 至 的投影矩阵，相关性质总结如下：
- ， 是幂等矩阵
- 若 ，则 ，即（3.1）式（符号含义见此式）。
- 根据 可以计算出子空间：
- 是 的补投影矩阵， 。 是沿着子空间 至 的投影矩阵； 是沿着子空间 至 的投影矩阵。
参考文献
[1]. https://ccjou.wordpress.com/2010/03/31/互補子空間與直和/
[2]. 零空间
[3]. 关于投影矩阵的详细阐述，请参阅《机器学习数学基础》的第3章3.4.4节的详细内容。
[4]. https://ccjou.wordpress.com/2010/04/06/直和與投影/
作者: 老齐
链接: http://math.itdiffer.com/directsum.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
