求解线性方程组

打开本页,如果没有显示公式,请刷新页面。

《机器学习数学基础》中并没有将解线性方程组作为重点,只是在第2章2.4.2节做了比较完整的概述。这是因为,如果用程序求解线性方程组,相对于高等数学教材中强调的手工求解,要简单得多了。

这里拓展一下与线性方程组有关或者由线性方程组引发的知识。

线性方程组的解位于一条直线

不是一般性,这里讨论三维空间的情况,对于多维空间,可以由此外推,毕竟三维空间便于想象和作图说明。

设矩阵 ,线性方程

的解是:

可以将上述解写成:

其中 为任意数。

很显然,(1.1)式是一条通过坐标系原点的直线。推而广之,可以说 的解集是一条过原点的直线(记作: )。

如果是非齐次线性方程组,例如:

解为:

这些点的集合是一条不过原点的直线。即 的解集是一条不过原点的直线(记作: )。并且,这条直线与 的解集所在直线平行。对此结论证明如下:

的两个解,则:

上面二式相减,得:

的一个解。

解集对应的直线上( )的两个点,则 的方向必然在直线 的方向上(或者在直线 上,或者在于 平行的直线上)。

又因为 也是 的解,所以 在过原点的直线 上。

因此, 平行于 ,即 的解集所在直线不过原点,且平行于过原点的 的解集所在直线。

克拉默法则

对《机器学习数学基础》第2章2.4.2节中克拉默法则进行证明。

克拉默法则(Cramer's rule)利用行列式计算 的解,其中 方阵。

由于克拉默法则的运行效率不如高斯消元法,所以不能用于大数量方程的线性方程组,通常只用于理论推导 ,从这个角度看,此法则除了具有理论意义之外,在计算上完全可以不用

下面的证明来自于参考文献[2],根据需要做了适当修改。

克拉默法则

阶方阵 维向量 ,将 的第 列以 替换,并记作 ,用列向量表示为:

可逆,即 ,则 的解:

证明

将原方程 转化为等价的 ,其中 都是 矩阵,将单位矩阵以列向量的形式表示为:

以列向量 取代 的第 列,再左乘

参考“对矩阵乘法深入理解”中以列为单元进行矩阵乘法,上式可以进一步变换:

上式即为 ,其中

利用矩阵乘积的行列式性质,得:

以余子式展开计算行列式,得: (参阅[3]) ,所以,

,则:

存在性与唯一性

矩阵 ,对于任意 维的非零向量 ,线性方程组 解的唯一性和存在性讨论。

存在性

有解,当且仅当 ,其中 为满足 的任何向量。

或曰:

正交于左零空间 ,则 有解,反之亦然。

唯一性

有唯一解(若解存在),当且仅当 有唯一解

或曰:

若矩阵 零空间 仅含零向量,则 有唯一解,反之亦然。

参考文献

[1]. https://ccjou.wordpress.com/2009/03/20/axb-和-ax0-的解集合有什麼關係?/

[2]. https://ccjou.wordpress.com/2009/11/10/克拉瑪公式的證明/

[3]. 对 ,以 矩阵为例,当 时:

[4]. https://ccjou.wordpress.com/2011/06/07/線性方程解的存在性與唯一性/

作者: 老齐
链接: http://math.itdiffer.com/equation.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""