线性映射

打开本页,如果没有显示公式,请刷新页面。

《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容,并指出矩阵就是两个向量空间的线性变换的表达形式。

以示例理解

以参考文献[1]中提供的示例,说明矩阵与线性变换的关系。

设向量空间 是二次函数 的集合,基为 ,向量

可以用 表示:

则其坐标向量为:

假设有如下线性变换:

根据线性变换的加法和数量乘法封闭性,可得:

上式可以理解为:向量 的映射后结果为 (此结果称为像),即:

上述系数可以写成:

将(1.4)代入(1.3)式,得:

所以 的坐标向量为:

可以通过“矩阵乘法”将 联系起来:

其中 称为线性变换 基于基 表示矩阵

对比(1.5)和(1.6)式,发现 互为转置矩阵。

线性变换与矩阵

线性变换 是向量空间 的基, 是向量空间 的基。

线性映射 对应矩阵乘法 ,其中 阶线性变换表示矩阵 的第 列即为 基于 的坐标向量

与线性变换的表示矩阵 的关系,如下图所示:

图中的 表示向量在对应基中的映射,即将向量分别映射为相应向量空间中的坐标(以相应的基)。

解释最小二乘

《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导(如下所示的(3.1)式,即为正规方程),并且由此引出最小二乘法。

正规方程(3.1)的解即为 的最小二乘近似解( 矩阵)。

如果 的列向量线性无关,则 ,称 满秩。

此时, ,行空间 充满整个

因为 ,则 阶方阵)是可逆的,由此可知(3.1)存在唯一的最小二乘近似解:

则最小误差平方的投影向量:

正交投影矩阵为:

向量 和误差 的关系:

因为

也是一个投影矩阵,且:

因此,向量 正交投影至

总结:

从线性变换角度,理解最小二乘:

  • 向量 经正交投影矩阵 映射至列空间 的投影向量
  • 向量 经正交投影矩阵 映射至左零空间 的最小误差向量
  • 向量 经变换矩阵 映射到行空间 的最小平方近似解
  • 最小二乘解 经矩阵 映射至列空间 的投影向量

因此,将向量 映射至投影向量 的正交投影矩阵 可以理解为两个线性变换的复合:

注意,以上讨论的前提, 的列向量线性无关,否则 不是可逆矩阵,如果不可逆,则不存在唯一的最小二乘近似解。

参考文献

[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/

[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/

作者: 老齐
链接: http://math.itdiffer.com/linearmap.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""