矩阵论6：内积与 Euclid 空间

内积

定义

设实线性空间 $\def\bm{\boldsymbol} V$ 上二元实函数 $(\cdot,\cdot):V\times V\to \mathbb R $ 满足下面三个性质：

1. 对称性 对任意 $\bm\alpha,\bm\beta\in V$ ，都有 $(\bm\alpha,\bm\beta)=(\bm\beta,\bm\alpha)$ ；
2. 恒正性 对任意 $\bm\alpha\in V$ 且 $\bm\alpha\neq0$ ，都有 $(\bm\alpha,\bm\alpha)>0$ ；
3. 双线性性 对任意 $\bm\alpha,\bm\alpha_1,\bm\alpha_2,\bm\beta,\bm\beta_1,\bm\beta_2\in V,\lambda \in \mathbb R $ ，都有

$$(\bm\alpha_1+\bm\alpha_2,\bm\beta)=(\bm\alpha_1,\bm\beta)+(\bm\alpha_2,\bm\beta) \\ (\lambda\bm\alpha,\bm\beta)=\lambda(\bm\alpha,\bm\beta)\\ (\bm\alpha,\bm\beta_1+\bm\beta_2)=(\bm\alpha,\bm\beta_1)+(\bm\alpha,\bm\beta_2) \\ (\bm\alpha,\lambda\bm\beta)=\lambda(\bm\alpha,\bm\beta)$$

则二元实函数 $(\bm\alpha,\bm\beta)$ 称为实线性空间 $V$ 的一个内积。标准内积是一个特殊的且最常用的内积形式。

Cauchy-Schwarz 不等式

设 $(\bm\alpha,\bm\beta)$ 是实线性空间 $V$ 的一个内积，则对任意 $\bm\alpha,\bm\beta \in V$ ，都有

$$(\bm\alpha,\bm\beta)^2\le (\bm\alpha,\bm\alpha)(\bm\beta,\bm\beta)$$

证明：

考虑函数

$$\begin{aligned} f(t) &= (t\bm\alpha+\bm\beta,t\bm\alpha+\bm\beta)\\ &= t^2(\bm\alpha,\bm\alpha)+2t(\bm\alpha,\bm\beta)+(\bm\beta,\bm\beta) \end{aligned}$$

可见其为二次多项式，由于内积的恒正性，显然 $f(t)\ge0$ 。在考虑二次多项式判别式，可知

$$\Delta=(\bm\alpha,\bm\beta)^2-(\bm\alpha,\bm\alpha)(\bm\beta,\bm\beta)\ge0$$

当且仅当 $\bm\alpha$ 和 $\bm\beta$ 线性相关的时候，等号成立。

Cauchy-Schwarz 不等式在各种证明中常用于放缩。

内积的方阵表示

设 $\bm\alpha_1,…,\bm\alpha_n$ 是 $n$ 维实线性空间 $V$ 的一组基，$(\bm\alpha,\bm\beta)$ 是 $V$ 的一个内积，则

$$\bm\alpha=x_1\bm\alpha_1+...+x_n\bm\alpha_n\\ \bm\beta=y_1\bm\beta_1+...+y_n\bm\beta_n$$

因此

$$(\bm\alpha,\bm\beta)=(\sum_{i=1}^nx_i\bm\alpha_i,\sum_{j=1}^ny_j\bm\alpha_j)=\sum_{i=1}^n\sum_{j=1}^nx_iy_j(\bm\alpha_i,\bm\alpha_j)$$

记 $\bm x=(x_1,…,x_n)^T,\bm y=(y_1,…,y_n)^T$ ，则

$$(\bm\alpha,\bm\beta)=\bm x^T G\bm y$$

其中

$$G= \begin{pmatrix} (\bm\alpha_1,\bm\alpha_1)&\cdots&(\bm\alpha_1,\bm\alpha_n)\\ \vdots&\ddots&\vdots\\ (\bm\alpha_n,\bm\alpha_1)&\cdots&(\bm\alpha_n,\bm\alpha_n) \end{pmatrix}$$

该方阵称为内积 $(\bm\alpha,\bm\beta)$ 在基 $\bm\alpha_1,…,\bm\alpha_n$ 下的 Gram 方阵，并且有以下两个属性

1. 对称：

$$G=G^T$$

1. 正定性：

$$\forall\ \bm x\neq0,\ \bm x^TG\bm x>0$$

注意正定性的前提条件是 $\bm\alpha_1,…,\bm\alpha_n$ 线性无关。

也可以证明存在一个双射，使得在同一个基下的内积和 Gram 方阵一一对映，即

$$\sigma((\bm\alpha,\bm\beta))=G$$

可见内积运算和 Gram 方阵之间的密切关系。

Euclid 空间

实线性空间（有限维） $V$ 连同一个取定的内积 $(\bm\alpha,\bm\beta)$ 构成 Euclid 空间 $(V,(\cdot,\cdot))$ 。

范数（长度）

通过内积的恒正性，可以得到 Euclid 空间下的范数定义，

$$\Vert \bm\alpha \Vert=\sqrt{(\bm\alpha,\bm\alpha)}$$

需要注意的是，范数并非是内积引出的概念。范数是具有“长度”概念的函数，该定义并非范数唯一的形式，只要符合以下三个条件就满足范数的条件：

1. 非负性：$\Vert \bm\alpha \Vert\ge0 \text{ and } \Vert\bm \alpha\Vert=0\Leftrightarrow \bm\alpha=0 $ ；
2. 齐次性：$\Vert\lambda\bm \alpha\Vert=\vert\lambda\vert\Vert\bm\alpha\Vert$ ；
3. 三角不等式：$\Vert\bm\alpha+\bm\beta\Vert\le\Vert\bm\alpha\Vert+\Vert\bm\beta\Vert$ ；

Euclid 空间下的内积根据定义显然具有非负性和齐次性，接下来证明三角不等式

证明：由范数的定义

$$\begin{aligned} \Vert\bm\alpha+\bm\beta\Vert^2&=(\bm\alpha+\bm\beta,\bm\alpha+\bm\beta)\\ &=(\bm\alpha,\bm\alpha)+2(\bm\alpha,\bm\beta)+(\bm\beta,\bm\beta)\\ &\le\Vert\bm\alpha\Vert^2+2\Vert\bm\alpha\Vert\Vert\bm\beta\Vert+\Vert\bm\beta\Vert^2\\ &=(\Vert\bm\alpha\Vert+\Vert\bm\beta\Vert)^2 \end{aligned}$$

范数和内积的关系

首先，根据以上论述内积总是可以导出范数。那么加下来的问题自然是相反的情况是否也成立？即范数是否可以导出内积，对于线性空间 $V$ 上的每个向量范数 $\Vert \cdot \Vert$ ，是否存在 $V$ 上相应的内积 $(\cdot,\cdot)$ ，使得 $\sqrt{(\cdot,\cdot)}=\Vert\cdot\Vert$ 成立？如果答案是否定的，那么在什么条件下，内积会生成给定的范数？即记下来将要介绍的平行四边形恒等式。

平行四边形恒等式

对于线性空间 $V$ 上的给定范数 $\Vert \cdot \Vert$ ，在 $V$ 上存在相应的内积 $(\cdot,\cdot)$ ，使得 $\sqrt{(\cdot,\cdot)}=\Vert\cdot\Vert$ 成立，当且仅当如下平行四边形恒等式成立，

$$\Vert\bm\alpha+\bm\beta\Vert^2+\Vert\bm\alpha-\bm\beta\Vert^2=2\Vert\bm\alpha\Vert^2+2\Vert\bm\beta\Vert^2$$

证明大意：必要性（仅当）是显然的，接下来证明充分些（当）。

对于任意 $\bm\alpha,\bm\beta\in V$ ， 令

$$(\bm\alpha,\bm\beta)_1=\frac{1}{4}(\Vert\bm\alpha+\bm\beta\Vert^2-\Vert\bm\alpha-\bm\beta\Vert^2)$$

可以直接得出 $(\cdot,\cdot)_1$ 符合内积的非负性和对称性，但是证明双线性性需要使用平行四边形恒等式。

一些例子

例1：标准内积 $(\bm\alpha,\bm\beta)=\bm\alpha^T\bm\beta$ 是一个特殊的内积，和 $\mathbb R^n$ 构成 Euclid 空间。

例2：对于 $\mathbb R^2$ ，以下二元实函数

$$(\bm\alpha,\bm\beta)=\alpha_1\beta_1-\alpha_2\beta_1-\alpha_1\beta_2+4\alpha_2\beta_2$$

容易验证符合对称性、恒正性和双线性性，其是一个内积，构成 Euclid 空间。

例3：对于 $\mathbb R^{n\times n}$ 以及如下内积运算

$$(A,B)=\text{Tr} (AB^T)=\sum_{1\le i,j\le n}a^2_{ij}>0$$

构成 Euclid 空间

例4：对于闭区间 $[a,b]$ 上的连续函数构成的线性空间 $C[a,b]$ 以及如下内积运算

$$(f(x),g(x))=\int_a^bf(x)g(x)dx$$

构成 Hilbert 空间（扩展到无限维的 Euclid 空间）。