直和与投影

打开本页后,若未显示公式,请刷新页面,之后即可显示。

容斥定理

子空间的和

向量空间 的两个特殊子空间: ,另外一个是 自身。

是任何向量空间的子空间。

分别是 的两个子空间,若 ,则称这两个子空间无交集。

命题1: 的一个子空间。

证明

因为 ,所以

,根据子空间性质,可知:

所以 满足向量加法和数量乘法封闭,则为一个子空间。

但要注意 不一定是子空间。

定义 的子空间的和:

容斥定理

子空间的交集 与子空间的和 和子空间 的维度关系:

(1.1)式称为容斥定理

证明

的一组基, 的一组基。令矩阵 的列向量:

显然,子空间的和 即为 的列空间,所以:

对于 的零空间 中的向量 即:

则有:

(1.2)式说明, ,故

将上述推理反过来,也成立。

所以,子空间的交集 的零空间 ,于是有:

根据“秩—零化度定理”,可得:

其中,

在结合(1.3)和(1.4)式,(1.1)式得证。

直和

补子空间

定义

是向量空间 的子空间,如果 ,则称 的补子空间(complementary subspace),简称“补空间”。

根据上述定义,可知:

根据(1.1)式可知:

又因为 ,所以:

举例

如下图所示, 是一个过原点的平面, 是一条过原点的直线,它们构成了 的子空间,且

,根据平行四边形法则,可以计算 ,则必能充满整个 ,即

由此可知,向量空间 可由两个不相交的子空间构成。

定义

如果 是向量空间 的子空间 的补子空间,则称 直和(direct sum),记作:

性质

性质1:

根据定义可得此性质。

性质2: 对于任意 ,存在唯一向量 ,使得

证明

根据性质1,得:

假设对于 可以表示为 ,其中 ,则:

又因为

所以

证毕。

性质3: 分别是 的一组基, (表示空集合), 的一组基

证明

根据 ,则 生成 ,也必定生成

设:

根据性质2,可得:

所以

中向量为线性无关,是 的一组基。

维数关系

投影

在《机器学习数学基础》第3章3.4.4节专门介绍了正交投影,此处用直和的概念,将“投影”概念一般化,并不仅仅局限于“正交”的情况。

定义

,对于 ,根据性质2,有唯一向量 ,使得 。则称 为向量 沿着 投影 为向量 沿着 的投影。

如果子空间 正交于 ,则称之为正交投影(orthogonal projection)。

投影矩阵

阶方阵 为投影矩阵 ,或称为投影算子(projector)。

的一组基为 的一组基

阶矩阵 矩阵 阶可逆矩阵。则沿着 的投影矩阵 的计算公式:

命题1: 中,沿着 的投影矩阵具有唯一性(沿着其他子空间亦然,此处仅以这两个空间为例)

证明

设两个投影矩阵 ,根据(3.1)式,有:

时上式均成立,所以,

两边右乘 得:

投影矩阵的判定

是幂等(idempotent)矩阵, 线性变换 是投影矩阵

证明

(1)证明

是沿着 的投影矩阵,对于任意向量 ,设

计算:

因为 是任意向量,所以

(2)证明

对任意向量 ,有:

其中

因为 ,所以 ,即:

所以,

于是有:

设任意向量 ,则

因为 ,可得

又因为 ,所以

故:

所以:

性质

直和是一种分解向量空间的方法。设 是沿着 的投影矩阵,相关性质总结如下:

  • 是幂等矩阵
  • ,则 ,即(3.1)式(符号含义见此式)。
  • 根据 可以计算出子空间:
  • 的补投影矩阵, 是沿着子空间 的投影矩阵; 是沿着子空间 的投影矩阵。

参考文献

[1]. https://ccjou.wordpress.com/2010/03/31/互補子空間與直和/

[2]. 零空间

[3]. 关于投影矩阵的详细阐述,请参阅《机器学习数学基础》的第3章3.4.4节的详细内容。

[4]. https://ccjou.wordpress.com/2010/04/06/直和與投影/

作者: 老齐
链接: http://math.itdiffer.com/directsum.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""