线性映射
打开本页，如果没有显示公式，请刷新页面。
《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容，并指出矩阵就是两个向量空间的线性变换的表达形式。
以示例理解
以参考文献[1]中提供的示例，说明矩阵与线性变换的关系。
设向量空间 是二次函数 的集合，基为 ，向量 。
可以用 表示：
则其坐标向量为：
假设有如下线性变换：
根据线性变换的加法和数量乘法封闭性，可得：
上式可以理解为：向量 经 的映射后结果为 （此结果称为像），即：
上述系数可以写成：
将（1.4）代入（1.3）式，得：
所以 的坐标向量为：
可以通过“矩阵乘法”将 和 联系起来：
其中 称为线性变换 基于基 的表示矩阵。
对比（1.5）和（1.6）式，发现 和 互为转置矩阵。
线性变换与矩阵
线性变换 ， 是向量空间 的基， 是向量空间 的基。
线性映射 对应矩阵乘法 ，其中 阶线性变换表示矩阵 的第 列即为 基于 的坐标向量 ：
与线性变换的表示矩阵 的关系，如下图所示：
图中的 表示向量在对应基中的映射，即将向量分别映射为相应向量空间中的坐标（以相应的基）。
解释最小二乘
《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导（如下所示的（3.1）式，即为正规方程），并且由此引出最小二乘法。
正规方程（3.1）的解即为 的最小二乘近似解（ 是 矩阵）。
如果 的列向量线性无关，则 ，称 满秩。
此时， ，行空间 充满整个 。
因为 ，则 （ 阶方阵）是可逆的，由此可知（3.1）存在唯一的最小二乘近似解：
则最小误差平方的投影向量：
正交投影矩阵为：
向量 和误差 的关系：
因为
也是一个投影矩阵，且：
因此，向量 经 正交投影至 。
总结：
从线性变换角度，理解最小二乘：
- 向量 经正交投影矩阵 映射至列空间 的投影向量 ：
- 向量 经正交投影矩阵 映射至左零空间 的最小误差向量 ：
- 向量 经变换矩阵 映射到行空间 的最小平方近似解 ：
- 最小二乘解 经矩阵 映射至列空间 的投影向量 ：
因此，将向量 映射至投影向量 的正交投影矩阵 可以理解为两个线性变换的复合：
注意，以上讨论的前提， 的列向量线性无关，否则 不是可逆矩阵，如果不可逆，则不存在唯一的最小二乘近似解。
参考文献
[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/
[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/
作者: 老齐
链接: http://math.itdiffer.com/linearmap.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
