函数也是向量

希尔伯特空间

在数学裡,希尔伯特空间(英語:Hilbert space)即完备的内积空间,也就是一个带有内积完备向量空间。

例如 中的向量 含有无限多个分量,即:

若要使得以下定义依然成立:

则上述无穷级数应该收敛至一个有限数值,例如:

这样,向量的长度是有限的,对于空间中有限长度的向量 ,则还会有:

,其中 是一个有限的标量,仍然是一个有限量。

由此容易证明向量空间的8条法则依然成立(《机器学习数学基础》第15页)。

这样的空间,就是希尔伯特空间,是一个保持一般几何性质的无限维向量空间。

希尔伯特空间是有限维欧几里得空间的一个推广,使之不局限于实数的情形和有限的维数,但又不失完备性(不像一般的非欧几里得空间那样破坏了完备性)。与欧几里得空间相仿,希尔伯特空间也是一个内积空间,其上有距离和角的概念(及由此引申而来的正交性与垂直性的概念)。此外,希尔伯特空间还是一个完备的空间。

微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。

希尔伯特空间以大卫·希尔伯特的名字命名,他在对积分方程的研究中研究了希尔伯特空间。冯·诺伊曼在其 1929 年出版的关于无界自伴算子的著作中,最早使用了“希尔伯特空间”这个名词。

一个抽象的希尔伯特空间中的元素往往被称为向量。在实际应用中,它可能代表了一列复数或是一个函数。

例如在量子力学中,一个物理系统可以表示为一个复希尔伯特空间,其中的向量是描述系统可能状态的波函数。

函数空间

设正弦函数 ,定义域为 ,视此函数为无限维向量,向量的各个分量即为连续区间内的函数值 。当向量的分量是连续时,其平方和可写成积分形式(即 的长度平方):

上式说明,我们可以测量函数的长度,即可以将此函数看做向量,从而形成了向量空间,此向量空间的维数无限,显然是希尔伯特空间,也就是一个函数空间。

如果 ,计算内积:

故正弦和余弦正交。

线性函数

设函数 是: ,对于任意向量 ,以及任意实数 ,若满足:

是线性函数。

  • 几何向量空间

    阶实矩阵, 是一个由 映至 的线性函数,则:

  • 多项式空间

    为所有多項式形成的向量空间,微分算子 可視為由 映至 的函数,例如,。微分算子 是一个线性函数,利用导数基本性质,可知:

    求二次导数,记作: ,易知 是线性函数,推广至更高次冪, 全部都是线性函数。

  • 连续函数空间

    表示所有连续函数形成的空间, ,函数 ,考虑以下的例子:

    是线性函数。证明:

    將微分算子 线性函数 结合成一个方程式便得到微分方程

    例如,设 ,就有 或写成: 。求解微分方程等于找 使得 ,由此可以逐步建立微分方程与线性代数的关联。

零空间

是一个线性函数,所有满足 所形成的集合构成 里的一个子空间,称为零空间或核,记作

,根据线性函数的基本性质,有:

这说明 满足向量加法和数量乘法封闭原则,所以 的子空间。

称为齐次方程(homogeneouos equation)。齐次现象方程至少有一个零解, ,也就是说零空间 必定包含零向量。

理由如下:

,或者

  • 齐次线性方程组

或改写为矩阵形式:

利用高斯消元法,得: 为任意实数,所以, 的零空間由向量 张成,零空間 与其表示矩阵 的零空間 指的是同一回事。

  • 微分算子

微分算子 作用在 的零空间包含所有一次导数为零的实函数,由导数性质可知 是一个包含所有常函数 的子空间。

  • 齐次微分方程

对于下面的齐次微分方程:

也可以用微分算子表示为:

线性算子的线性组合仍为线性算子,故: 也是线性。

求解齐次微分方程 ,即相当于计算 的零空间。

线性算子 的零空间由线性无关的函数 张成, 是零空间 的基底函数,故齐次解为其线性組合 。从线性函数的角度,齐次解必定落在 的零空间内,亦即

特征值与特征向量

假设一种线性变换 ,还有向量 ,通常 之间没有什么特别的关系,但是,在某个条件下,会有如下关系:

这就是特征向量 和特征值

注意:零向量不是特征向量。这是因为,对于任意线性变换而言,任何 都会满足

如果特征值为零,则只要存在 满足 就行。显然,若线性变换 有零特征值,则 的零空间必定包含非零向量。

  • 矩阵变换

为线性变换,以矩陣表示为:

例如:

容易解出其特征值 ,特征向量分别为:

注意,其次方程 对应 ,故特征向量 张成 的零空间。

  • 微分算子

假设以下微分算式:

函数 是微分算子 的特征向量,对应特征值分别为

推广: 是任意数, ,则 的特征向量,对应的特征值为

  • 齐次微分方程

考虑一个常系数齐次微分方程(前面用过的):

若有 ,则可以写为:

如前所述,求齐次微分方程的解,就等于计算 的零空间,也就是找出特征值为 的特征向量,如下:

因为 ,则必有 ,则 ,特征向量为 ,所对应的特征值均为

故:求解齊次微分方程的本質就是問線性算子 的哪些特徵向量對應零特徵值

非齐次方程

是一个线性函数,对应的非齐次方程:

下面证明叠加原理:若 是上述非齐次方程的一个特解(particular solution), 是齐次方程 的一个解(称为齐次解),则 是非齐次方程的通解(或一般解,general solution)。

证明:

因为 是一个特解,则

又因为 是线性函数,所以:

是齐次解,即 是零空间中的一个向量,故 是通解。

  • 非齐次线性方程组

以下述非齐次线性方程组为例:

其一个特解: ,前面已经计算过对应的齐次线性方程组的解: ,其中 是任意实数。故此非齐次线性方程组的通解是:

  • 常系数微分方程

以下面的非齐次微分方程为例:

用微分算子表示为:

用待定系数法求出一个特解:

对于任何解 ,有:

根据齐次微分方程的求解, 的形式必为:

显然,前两项是齐次解, 。设 ,计算:

代入到非齐次微分方程中,得:

得到特解:

故通解为:

参考资料

[1]. 线代启示录:从几何向量空间到函数空间

[2]. 线性代数基本定理

[3]. 理解特征值和特征向量

作者: 老齐
链接: http://math.itdiffer.com/functionvector.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!

http://math.itdiffer.com/images/0.jpg

results matching ""

    No results matching ""