向量范数

打开本页,如果不能显示公式,请刷新页面。

《机器学习数学基础》第1章1.5.3节介绍了向量范数的基本定义。

本文在上述基础上,介绍向量范数的有关性质。

注意:以下均在欧几里得空间塔伦,即欧氏范数。

性质

  • 实(或复)向量 ,范数 满足:

    • 是标量
  • ,根据施瓦茨不等式

    ,则上式退化为 ,其中 。因为 ,所以

  • 三角不等式:

    证明

    根据复数的性质和施瓦茨不等式:

    由上述结果,可得:

    证毕。

极小范数

的矩阵 ,列空间 的一个子空间),对任一 ,线性方程组 有解。在解集合中,有一个特解,在 的行空间,即 的列空间 ,并且具有最小的 范数,称为极小范数解(minimum norm solution),记作 ,即:

使得

定理一

,则存在唯一的 使得

证明

设特解 使得

中, 的行空间 是零空间 的正交补(参考:矩阵基本子空间)。则 可以分解为 ,其中 ,得:

这说明 也是一个特解。

使得 。两式子相减:

所以

又因为

合并以上结果,得:

唯一。

证毕。

定理二

具有最小 范数,则

证明

由定理一,任意特解可以表示为 ,且 唯一存在。因为 ,则:

时,上式等号成立。

证毕。

定理三

,即 的列向量线性无关,则 必有解,且极小范数解为:

证明

因为 ,则 ,列空间 充满 ,所以任一 使 有解。

推导方法1

因为 的列向量线性无关,所以 可唯一表示为列向量的线性组合,即存在唯一的 使得 。代入 ,得:

因为 ,所以 可逆

故:

解得:

推导方法2,使用拉格朗日乘数法

最小化 ,等价于最小化

拉格朗日函数:

其中 维拉格朗日乘数向量。计算:

令上述两式等于零,得到最优化条件式。得: ,代入 ,得:

解得:

所以:

计算方法

计算 ,可以使用QR分解

,其中 矩阵,且 阶上三角矩阵。

最佳值:

注意:

  • 在上述计算中,使用了矩阵求导等相关计算,请参阅《机器学习数学基础》第4章“向量分析”有关内容,书中的附录中也附有各种计算公式。
  • 定理三,仅限于 的列向量线性无关。若列向量线性相关,即 ,则 不可逆。此时仍有极小范数解,表示为 ,其中 称为 的伪逆矩阵(或广义逆矩阵)

参考文献

[1]. https://ccjou.wordpress.com/2014/05/21/極小範數解/

[2]. 矩阵基本子空间

[3]. 矩阵的秩

[4]. 拉格朗日乘数法

[5]. QR分解

[6]. 维基百科:广义逆矩阵

作者: 老齐
链接: http://math.itdiffer.com/norm.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""