向量范数
打开本页，如果不能显示公式，请刷新页面。
《机器学习数学基础》第1章1.5.3节介绍了向量范数的基本定义。
本文在上述基础上，介绍向量范数的有关性质。
注意：以下均在欧几里得空间塔伦，即欧氏范数。
性质
实（或复）向量 ，范数 满足：
- ， 是标量
设 ，根据施瓦茨不等式： 。
若 ，则上式退化为 ，其中 。因为 ，所以
三角不等式：
证明
根据复数的性质和施瓦茨不等式：
由上述结果，可得：
证毕。
极小范数
的矩阵 ，列空间 （ 是 的一个子空间），对任一 ，线性方程组 有解。在解集合中，有一个特解，在 的行空间，即 的列空间 ，并且具有最小的 范数，称为极小范数解（minimum norm solution），记作 ，即：
使得
定理一
若 ，则存在唯一的 使得 。
证明
设特解 使得 。
在 中， 的行空间 是零空间 的正交补（参考：矩阵基本子空间）。则 可以分解为 ，其中 ，得：
这说明 也是一个特解。
设 使得 。两式子相减：
所以 。
又因为 ，
合并以上结果，得：
即 。 唯一。
证毕。
定理二
若 且 具有最小 范数，则 。
证明
由定理一，任意特解可以表示为 ，且 唯一存在。因为 ，则：
当 时，上式等号成立。
证毕。
定理三
若 ，即 的列向量线性无关，则 必有解，且极小范数解为：
证明
因为 ，则 ，列空间 充满 ，所以任一 使 有解。
推导方法1
因为 的列向量线性无关，所以 可唯一表示为列向量的线性组合，即存在唯一的 使得 。代入 ，得：
因为 ，所以 可逆。
故：
解得：
推导方法2，使用拉格朗日乘数法
最小化 ，等价于最小化
拉格朗日函数：
其中 是 维拉格朗日乘数向量。计算：
令上述两式等于零，得到最优化条件式。得： ，代入 ，得：
解得：
所以：
计算方法
计算 ，可以使用QR分解 。
设 ，其中 是 矩阵，且 ， 是 阶上三角矩阵。
最佳值：
注意：
- 在上述计算中，使用了矩阵求导等相关计算，请参阅《机器学习数学基础》第4章“向量分析”有关内容，书中的附录中也附有各种计算公式。
- 定理三，仅限于 的列向量线性无关。若列向量线性相关，即 ，则 不可逆。此时仍有极小范数解，表示为 ，其中 称为 的伪逆矩阵（或广义逆矩阵）。
参考文献
[1]. https://ccjou.wordpress.com/2014/05/21/極小範數解/
[2]. 矩阵基本子空间
[3]. 矩阵的秩
[4]. 拉格朗日乘数法
[5]. QR分解
[6]. 维基百科：广义逆矩阵
作者: 老齐
链接: http://math.itdiffer.com/norm.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
