矩阵正交化是线性代数中把一组线性无关的向量通过逐步扣除投影,变换为两两正交(或进一步单位化)向量组的方法,其典型代表是格拉姆-施密特正交化过程。它以正交矩阵为载体,使矩阵在保持长度和夹角不变的正交变换下化为上三角形式或对角形式,是求解最小二乘问题、计算特征值与二次型标准形的常用手段。
定义
矩阵正交化是把矩阵的列向量组(或一般的向量组)改造成两两正交、进而单位化的向量组的运算。设有一组线性无关的向量 $\alpha_1,\alpha_2,\cdots,\alpha_r$,正交化的目标是得到与它等价的一组两两正交向量 $\beta_1,\beta_2,\cdots,\beta_r$,若再要求每个向量的长度为 1,则称为标准正交组[1]。
对矩阵而言,正交化通常指为矩阵求出一组标准正交的列向量,或求出一个正交矩阵 $Q$,使原矩阵被化为形式更简单的矩阵。正交矩阵是满足 $Q^{T}Q=I$ 的实方阵,等价地说,它的列向量组构成标准正交基,其转置即为其逆矩阵[2]。
实对称矩阵总可以通过正交相似变换化为对角矩阵,即存在正交矩阵 $P$ 使 $P^{-1}AP=P^{T}AP$ 成为对角矩阵,对角元为该矩阵的全部特征值,这是最典型的矩阵正交化问题[3]。
原理
格拉姆-施密特过程的核心是正交投影。对非零向量 $u$,向量 $v$ 在 $u$ 所张直线上的投影为 $\mathrm{proj}_{u}(v)=\dfrac{\langle v,u\rangle}{\langle u,u\rangle}u$。过程从第一列开始,令 $u_1=v_1$,随后每一步都把当前向量减去它在前面所有已生成向量上的投影,即 $u_k=v_k-\sum_{j=1}^{k-1}\mathrm{proj}_{u_j}(v_k)$,所得向量与之前各向量均正交[4]。
几何上看,计算 $u_i$ 就是把 $v_i$ 正交投影到由 $u_1,\cdots,u_{i-1}$ 生成的子空间上,再取二者之差,因此差向量必然正交于该子空间;若把正交化得到的向量逐一除以自身范数,就得到标准正交组[4]。
把该过程施加于列满秩矩阵 $A$ 的各列,就得到矩阵的 QR 分解 $A=QR$,其中 $Q$ 的列标准正交,$R$ 为上三角矩阵,且 $R$ 同时也是格拉姆矩阵 $A^{T}A$ 的 Cholesky 因子。另一种构造方式是使用豪斯霍尔德变换,即关于超平面的镜像反射 $H=I-2\dfrac{vv^{T}}{v^{T}v}$,它保持向量长度和夹角,可逐列把主对角线以下的元素消为零,从而同样得到 QR 分解[5]。
在正交变换下,矩阵的相似关系被保留:若 $A$ 对称,则 $A^{T}MA$ 仍对称,这说明对称矩阵可以被正交变换对角化,而非对称矩阵一般不能被正交相似对角化[2]。对二次型 $f=X^{T}AX$ 作正交变换 $X=PY$,可将其化为标准形 $\lambda_1y_1^{2}+\lambda_2y_2^{2}+\cdots+\lambda_ny_n^{2}$,系数即矩阵 $A$ 的特征值[1]。
发展历程
正交化算法有较长的渊源。1907 年埃尔哈德·施密特(Erhard Schmidt)发表论文,给出求一组线性无关向量所张空间的标准正交基的方法,后来被称为经典格拉姆-施密特过程;施密特本人指出该做法与约尔根·佩德森·格拉姆(J. P. Gram)1883 年发表的算法本质相同[6]。更早的相关算法还见于拉普拉斯 1820 年的著作,2007 年恰为施密特论文发表 100 周年[7]。
在计算机上实现时,经典版本因舍入误差会明显丧失正交性,通常被认为数值不稳定。改进的格拉姆-施密特(MGS)把投影一次一个地逐步扣除,在精确算术下结果相同,在有限精度下误差更小;但对病态矩阵,MGS 计算出的 $Q$ 仍可能偏离正交,需要再正交化或改用其他方法[8]。
几乎在同一时期,基于豪斯霍尔德变换的 QR 分解被提出,它在数值上更稳定,缺点是不直接给出 $Q$ 的显式表达,而是把反射向量的信息存储下来[9]。此后阿科·比约克、海因茨·鲁蒂斯豪泽等人分析了正交性的丢失与再正交化问题,推动了稳定算法的确立[10]。
20 世纪后期,QR 分解成为数值线性代数的基础工具之一,并被写入 LAPACK 等通用数值软件库,其算法仍在向随机化、分块和减少通信的方向发展[11]。
应用
正交化最重要的用途之一是求解线性最小二乘问题,即在超定方程组 $Ax\approx b$ 无精确解时求使残差 2-范数最小的解。借助 QR 分解可把问题化为求解三角方程组 $Rx=Q^{T}b$,该算法具有后向稳定性[12]。
在统计计算中,QR 分解被广泛用于回归分析。它能处理接近线性相关的数据、揭示设计矩阵的秩,并给出回归估计的数值性质,其计算代价合理而数值性质良好[13]。
在信号处理领域,矩阵正交化用于正交变换、子空间方法和特征分解。数字通信中,正交对角分解与奇异值分解被用来刻画矩阵或线性变换的重要特征[14]。基于施密特正交化的方法也被用于波束形成、阵列信号处理等场景中构造正交基。
在解析几何与代数中,正交变换可将含交叉项的一般二次曲线方程化为标准方程,从而判定曲线类型;实对称矩阵的正交对角化则给出了二次型的分类依据[15]。豪斯霍尔德变换还用于把对称矩阵化归为三对角形式,是求解特征值与奇异值分解等算法的核心步骤[5]。
局限
经典格拉姆-施密特过程在浮点运算中数值不稳定。由于舍入误差,计算出的向量往往不再严格两两正交,对近似线性相关的输入,正交性的丢失尤其严重;因此它被认为是数值上不稳定的算法[8]。改进版本虽然精度更好,但正交性损失的程度依赖于矩阵的条件数,条件数越大,正交性越难保证[12]。
正交化与正交相似变换的适用范围有限。只有对称矩阵才能被正交变换化为对角矩阵,一般矩阵无法通过正交相似变换对角化[2]。若输入的向量组线性相关,格拉姆-施密特过程会在某一步输出零向量,此时必须丢弃该向量,所得正交向量的个数等于原向量组的秩[4]。
在效率方面,直接形成 $A^{T}A$ 再做 Cholesky 分解的途径虽然简单、计算量较小,却会放大误差,条件数较大时尤其不稳定;而基于豪斯霍尔德变换的 QR 分解虽更稳定,却不能像格拉姆-施密特过程那样在每步迭代后立即得到当次的正交向量,这对阿诺尔迪迭代一类迭代方法不利[4]。
参见
参考资料
- 线性代数 [引用日期2026-10-14]
- section06 [引用日期2026-10-14]
- 且 \(\sum_{i=1}^{r} \dim W_{\lambda_i} = n\), [引用日期2026-10-14]
- Gram-Schmidt process [引用日期2026-10-14]
- 豪斯霍尔德变换 | Bohrium [引用日期2026-10-14]
- Gram-Schmidt orthogonalization: 100 years and more [引用日期2026-10-14]
- Gram-Schmidt orthogonalization: 100 years and more [引用日期2026-10-14]
- Gram-Schmidt Orthonormalization [引用日期2026-10-14]
- Algorithms for the QR-Decomposition [引用日期2026-10-14]
- Seminar Archives [引用日期2026-10-14]
- Numerical+Stability [引用日期2026-10-14]
- 9780521174329_excerpt(PDF) [引用日期2026-10-14]
- S0169716105801373 [引用日期2026-10-14]
- \[ Q^TAQ=Q^{-1}AQ=\begin{bmatrix} [引用日期2026-10-14]
- bupt.edu.cn 上的文件 [引用日期2026-10-14]