柯西—施瓦茨不等式

打开本页，如果没有显示公式，请刷新页面。

柯西-施瓦茨不等式（Cauchy–Schwarz inequality），又稱施瓦茨不等式或柯西-布尼亞科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）不等式以奧古斯丁·路易·柯西（Augustin Louis Cauchy），赫尔曼·阿曼杜斯·施瓦茨（Hermann Amandus Schwarz），和維克托·雅科夫列維奇·布尼亞科夫斯基（Виктор Яковлевич Буняковский）命名$^{[1]}$。

不等式

定理1

已知 $a_1,\cdots,a_n,b_1,\cdots,b_n$ 为实数，则：

$\left(\sum_{i=1}^na_ib_i\right)^2\le\left(\sum_{i=1}^na_i^2\right)\left(\sum_{i=1}^nb_i^2\right) \tag{1.1}$

等式成立的成分必要条件是 $a_i=\lambda b_i,(i=1,\cdots,n)$ 。

这是比较常见的柯西不等式形式。

定理2

已知 $a_1,\cdots,a_n,b_1,\cdots,b_n$ 为复数，则：

$\left|\sum_{i=1}^na_ib_i\right|^2\le\left(\sum_{i=1}^n|a_i|^2\right)\left(\sum_{i=1}^n|b_i|^2\right) \tag{1.2}$

等式成立的成分必要条件是 $a_i=\lambda b_i,(i=1,\cdots,n)$ ，$\lambda$ 为一复数。

若令 $\pmb{a}=\begin{bmatrix}a_1&\cdots&a_n\end{bmatrix},\pmb{b}=\begin{bmatrix}b_1&\cdots&b_n\end{bmatrix}$ ，则柯西不等式可表示为：

$|\pmb{a}\cdot\pmb{b}|\le\begin{Vmatrix}\pmb{a}\end{Vmatrix}\begin{Vmatrix}\pmb{b}\end{Vmatrix}\tag{1.3}$

定理3

已知 $\pmb{A}=(a_{ij})$ 是正定对称矩阵，$x_1,\cdots,x_n;y_1,\cdots,y_n$ 为任意实数（或复数），则：

$\left|\sum_{i,j=1}^na_{ij}x_iy_j\right|\le\sqrt{\sum_{i,j=1}^na_{ij}x_ix_j}\sqrt{\sum_{i,j=1}^na_{ij}y_iy_j}\tag{1.4}$

对（1.4）式，可以用向量表示：

• $\pmb{\zeta}\cdot\pmb{\eta}=\pmb{xAy}=\sum_{i,j=1}^na_{ij}x_iy_j$
• $\begin{Vmatrix}\zeta\end{Vmatrix}^2=\pmb{\zeta\cdot\zeta}=\pmb{xAx}^T=\sum_{i,j=1}^na_{ij}x_ix_j$
• $\begin{Vmatrix}\eta\end{Vmatrix}^2=\pmb{\eta\cdot\eta}=\pmb{yAy}^T=\sum_{i,j=1}^na_{ij}y_iy_j$

定理4

已知 $a_i,b_i\in\mathbb{C}$ ，则：

$|\sum_{i,j=1}^{\infty}a_ib_j|\le\left(\sum_{i=1}^{\infty}|a_i|^2\right)^{\frac{1}{2}}\left(\sum_{i=1}^{\infty}|b_i|^2\right)^{\frac{1}{2}} \tag{1.5}$

等式成立的充分必要条件是 $a_i=\lambda b_i,(i=1,\cdots,\lambda\in\mathbb{C})$ 。

将定理4推广到积分形式，即为柯西—施瓦茨不等式。

定理5

已知 $f,g$ 是区间 $[a,b]$ 上的连续函数，$f,g\in\mathbb{C}[a,b]$ ，则：

$\begin{vmatrix}\int_a^bf(x)g(x)dx\end{vmatrix}\le\int_a^b|f(x)|^2dx\int_a^b|g(x)|^2dx\tag{1.7}$

（1.7）式称为柯西-施瓦茨不等式（Cauchy–Schwarz inequality）、施瓦茨不等式或柯西-布尼亞科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）。此不等式是乌克兰数学家Viktor Yakovlerich Bunyakovsky（1804-1889）与德国数学家（原籍波兰）KarlHerman Amandus Schwarz (1843-1921)，分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式，而在很多数学教材中，常常把他的名字忽略——恐怕不是因为他名字太长，更可能的原因是19世纪，数学研究的中心在德国、法国，不在这个中心的人所作出的发现，就很难引起重视。这种现象在当今也难免。

定理6

已知 $a_1,\cdots,a_n;b_1,\cdots,b_n$ 为任意复数，且 $p,q\ge1，\frac{1}{p}+\frac{1}{q}=1$ ，则：

$|\sum_{i=1}^{n}a_ib_i|\le\left(\sum_{i=1}^{n}|a_i|^p\right)^{\frac{1}{p}}\left(\sum_{i=1}^{n}|b_i|^q\right)^{\frac{1}{q}} \tag{1.9}$

（1.9）式称为赫尔德不等式 （H ̈older不等式），如果推广到积分形式，就是下面的定理7。

定理7

已知 $f,g\in\mathbb{C}[a,b]，p,q\ge1，\frac{1}{p}+\frac{1}{q}=1$ ，则：

$\begin{vmatrix}\int_a^bf(x)g(x)dx\end{vmatrix}\le\left(\int_a^b|f(x)|^pdx\right)^{\frac{1}{p}}\left(\int_a^b|g(x)|^qdx\right)^{\frac{1}{q}}\tag{1.10}$

还可以写成更一般的形式，定理8所示。

定理8

已知 $f_1,\cdots,f_n\in\mathbb{C}[a,b]$ ，且 $\frac{1}{p_1}+\frac{1}{p_2}+\cdots+\frac{1}{p_n}=1,p_i\ge1$ ，则：

$\begin{vmatrix}\int_a^bf_1(x)f_2(x)\cdots f_n(x)dx\end{vmatrix}\le\left(\int_a^b|f_1(x)|^{p_1}dx\right)^{\frac{1}{p_1}}\cdots\left(\int_a^b|f_n(x)|^{p_n}dx\right)^{\frac{1}{p_n}}\tag{1.11}$

德国数学家赫尔德（Otto Lud-wig H ̈older (1859-1937)）在1885年研究傅里叶技术收敛性问题时，发现了上述不等式。

赫尔德不等式，也称为赫尔德—里斯不等式（H ̈older-Riesz）。

当 $p=q=2$ ，赫尔德不等式就退化为柯西—施瓦茨不等式。

余弦定理

对柯西—施瓦茨不等式的最直接理解，可以通过余弦定理，如图所示：

由余弦定理，得：

$|\pmb{a}|^2+|\pmb{b}|^2-|\pmb{a}-\pmb{b}|^2=2|\pmb{a}||\pmb{b}|\cos\theta \tag{2.1}$

所以：$\pmb{a}\cdot\pmb{b}=|\pmb{a}||\pmb{b}|\cos\theta$

因为：$|\cos\theta|\le1$ ，可得：

$|\pmb{a}\cdot\pmb{b}|\le|\pmb{a}||\pmb{b}|\tag{2.2}$

亦即得到了（1.3）式。

柯西—施瓦茨不等式的证明

判别式

这是一种最常见的证明方法。

向量 $\pmb{a},\pmb{b}$ 不平行，所以：

$\pmb{c}=\pmb{b}-\lambda\pmb{a},\lambda\in\mathbb{R}$

计算 $\pmb{c}$ 的长度：

$\begin{split}|\pmb{c}|^2&=\pmb{c\cdot c}=(\pmb{b}-\lambda\pmb{a})\cdot(\pmb{b}-\lambda\pmb{a})\\&=\pmb{b\cdot b}-2\pmb{a\cdot b}\lambda+\pmb{a\cdot a}\lambda^2\\&=|\pmb{a}|^2\lambda^2-2\pmb{a}\cdot\pmb{b}\lambda+|\pmb{b}|^2\end{split} \tag{3.1}$

将（3.1）式视为 $\lambda$ 的一元二次方程。由于 $|\pmb{c}|^2\ge0$ ，且 $|\pmb{a}|^2\ge0$ 。所以（3.1）式中的二次函数是开口向上的抛物线，且与横轴无交点（$|\pmb{c}|^2=0$ 是极限），即 $\lambda$ 没有实根，所以判别式小于等于 $0$ 。

$\Delta=(2\pmb{a\cdot b})^2-4|\pmb{a}|^2|\pmb{b}|^2\le0$

所以：$|\pmb{a}\cdot\pmb{b}|\le|\pmb{a}||\pmb{b}|$

投影——最短距离

前述证明中，避免了余弦定理中的角度，使用了向量的点积，对任意维的向量都适用。

有前述假设，可得 $\lambda$ ：

$\lambda=\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}, \pmb{c}=\pmb{b}-\lambda\pmb{a}=\pmb{b}-\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\pmb{a} \tag{3.2}$

将（3.2）式代入到（3.1）式，则：

$0\le|\pmb{c}|^2=|\pmb{a}|^2\left(\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\right)^2-2\pmb{a\cdot b}\left(\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}\right)+|\pmb{b}|^2 \tag{3.3}$

整理得：$(\pmb{a\cdot b})^2\le|\pmb{a}|^2|\pmb{b}|^2$

即得到（1.3）式。

如何理解（3.2）式中的 $\lambda$ ？

$\pmb{a\cdot c} = \pmb{a}\cdot(\pmb{b}-\lambda\pmb{a})=\pmb{a\cdot b}-\lambda|\pmb{a}|^2$

因此，可以有如下关系：

$\pmb{a\cdot c}=0\quad\Longleftrightarrow\quad \pmb{a}\bot\pmb{c} \quad\Longleftrightarrow\quad \lambda=\frac{\pmb{a\cdot b}}{|\pmb{a}|^2}$

由此可知，$\lambda$ 的选择，恰好是能够让 $\lambda\pmb{a}$ 是 $\pmb{b}$ 在 $\pmb{a}$ 上的投影，$|\pmb{c}|$ 则是 $\pmb{b}$ 至 $\pmb{a}$ 的最短距离。其关系如下图所示：

$\lambda$ 还称为拉格朗日乘子（Largrange multiplier）。

参考文献

[1]. Wikipedia: Cauchy-Schwarz inequality

作者: 老齐
链接: http://math.itdiffer.com/cauchy-schwarz.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!