本文的阅读等级:初级
令 为几何向量空间
的一个子空间,
,
。假设
为子空间
的一组已知基底。在一些应用时机,例如最小平方法,我们希望从
建构出另一组单范正交基底(orthonormal basis)
,亦即每一
且
,
。底下先考虑实几何向量空间,随后再推广至一般内积空间(见“内积的定义”,“从几何向量空间到函数空间”)。
Jørgen Pedersen Gram (1850-1916) From http://upload.wikimedia.org/wikipedia/commons/a/ab/Jorgen_Gram.jpg
Gram-Schmidt 正交化(orthogonalization) 是基础线性代数最常采用的方法,包含两个部分:
- 正交化:对于
,由
的线性组合产生
,使得
为一个正交向量集,即
,
。
- 单位化:伸缩
的长度,将每一
替换为单位向量
,最后得到单范正交基底
。
Erhard Schmidt (1876-1959) From http://www-history.mcs.st-andrews.ac.uk/BigPictures/Schmidt_2.jpeg
下面我采用归纳法推导从给定的一组基底 产生一组正交基底
的Gram-Schmidt 正交化过程。为便于说明,考虑简单情况
。因为
包含线性独立的基底向量,
,首先令
。
见图一,将 正交投影至
所指的直线的分量扣除就得到
(参阅“正交投影──威力强大的线代工具”),算式如下:
,
图一中绿色虚线投影向量为。明显地,
。上式的扣除量(投影量) 还有另一种表达方式,因为
是一个纯量,利用矩阵乘法结合律可得
,
其中 是将
向量投影至子空间(直线)
的
阶正交投影矩阵。
继续下一个步骤,将 投影至
和
所扩张的子空间(平面) 的分量扣除可得
。因为
正交于
(见图二),
。
上式也有对应于正交投影矩阵的推导。设,将
至
的行空间
的投影量从
扣除即得
,计算式如下:
最后再单位化正交向量集,令
,
。
请注意,Gram-Schmidt 单位化过程显示新基底向量 可以表示为旧基底向量
的线性组合。反过来说也成立,即
可写为
的线性组合,如下:
如果进一步将单位化结果纳入上式,直接替换 为
,就有下列形式:
利用 的单范正交性质,组合权重
即为
与
的内积,
,例如,
。
将前述方程组写成矩阵形式即得到著名的QR 分解式:
因为 且
,主对角元
亦可表示为
。
下面用一个例子来说明Gram-Schmidt 正交化演算程序,考虑
。
矩阵 的行向量(column vector) 就是
,下面用演算法形式记录计算步骤。
1. 正交化:
2. 单位化:
合并结果便得到 矩阵:
,
但 矩阵的上三角元还需要耗费一些计算:
。
上述实矩阵的QR 分解可以推广至广义内积空间,作法是把几何内积算式
取代为广义内积
,将数字
代回
,再加上一些「
」即可。设
阶矩阵
包含
维线性独立行向量
,其QR 分解式为
,
其中 阶矩阵
包含单范正交的行向量,
则为
阶上三角矩阵,主对角元的计算如下:
,当
,
。
矩阵 的行空间与
的行空间相等,可知
为可逆矩阵,也就是说
的主对角元皆不为零。
利用QR 分解可化简线性方程 。将
代入前式,
。等号两边左乘
,利用
,就有
。
先算出,再使用反向迭代即能解出
。读者或许纳闷:以高斯消去法解线性方程比QR 分解简单容易,何须如此费事呢?从表面上看,似乎如此。然而,在一些特定的问题中,QR 分解的精确度比高斯消去法高;另外,QR 分解有它自己的典型应用──解最小平方法。当方程式
无解时,我们可以考虑它的最小平方近似解:
。
问题转而求正规方程 的解(见“从线性变换解释最小平方近似”)。若
,即
阶矩阵
有线性独立的行向量,将
代入正规方程式,等号左边是
,等号右边是
。因为
是可逆的,
左乘
,即得等价的正规方程
。
这与之前化简线性方程得到的式子相同。
在将x_3 写成y_1, y_2 和y_3 的线性组合那一段,
y_3 的系数好像有打错字。
谢谢,已订正。
明显地,\mathbf{y}_1\perp\mathbf{y}_2。上式的扣除量(投影量) 还有另一种表达方式,因为\frac{\mathbf{y}_1^T\mathbf{x}_2}{\mathbf{y}_1^T\mathbf{y}_1} 是一个纯量,利用矩阵乘法结合律可得
\begin{aligned} \displaystyle\frac{\mathbf{y}_1^T\mathbf{x}_2}{\mathbf{y}_1^T\mathbf{y}_1}\mathbf{y}_1&=\mathbf{y}_1\frac{\mathbf{y}_1^T\mathbf{x}_2}{\mathbf{y}_1^T\mathbf{y}_1}=\frac{1}{\mathbf{y}_1^T\mathbf{y}_1}\mathbf{y}_1\mathbf{y}_1^T\mathbf{x}_2=\frac{\mathbf{y}_1\mathbf{y}_1^T}{\mathbf{y}_1^T\mathbf{y}_1}\mathbf{x}_2\end{aligned}
第三个式子的分母y^T 和y 忘了加上下标“1”
抱歉

是
谢谢指正,已修订。
老师好,r(i,i) 推导的第二等号没懂?