003 《线性代数与矩阵分析 (Linear Algebra and Matrix Analysis)》

🌟🌟🌟本文由Gemini 2.0 Flash Thinking Experimental 01-21生成，用来辅助学习。🌟🌟🌟

书籍大纲

▮▮ 1. 基础知识 (Basic Knowledge)
▮▮▮▮ 1.1 线性方程组 (System of Linear Equations)
▮▮▮▮▮▮ 1.1.1 线性方程组的定义与表示 (Definition and representation of linear equations systems)
▮▮▮▮▮▮ 1.1.2 高斯消元法 (Gaussian Elimination)
▮▮▮▮▮▮ 1.1.3 行阶梯形与简化行阶梯形 (Row echelon form and reduced row echelon form)
▮▮▮▮ 1.2 矩阵与矩阵运算 (Matrices and Matrix Operations)
▮▮▮▮▮▮ 1.2.1 矩阵的定义与类型 (Definition and types of matrices)
▮▮▮▮▮▮ 1.2.2 矩阵的加法、标量乘法与乘法 (Matrix addition, scalar multiplication and matrix multiplication)
▮▮▮▮▮▮ 1.2.3 矩阵的转置与共轭转置 (Transpose and conjugate transpose of matrices)
▮▮ 2. 向量空间 (Vector Spaces)
▮▮▮▮ 2.1 向量空间及其子空间 (Vector Spaces and Subspaces)
▮▮▮▮▮▮ 2.1.1 向量空间的定义与公理 (Definition and axioms of vector spaces)
▮▮▮▮▮▮ 2.1.2 常见向量空间 (Common vector spaces)
▮▮▮▮▮▮ 2.1.3 子空间的定义与判定 (Definition and determination of subspaces)
▮▮▮▮ 2.2 线性相关性与线性无关性 (Linear Dependence and Independence)
▮▮▮▮▮▮ 2.2.1 线性组合与线性生成 (Linear combinations and linear span)
▮▮▮▮▮▮ 2.2.2 线性相关与线性无关的定义 (Definition of linear dependence and independence)
▮▮▮▮▮▮ 2.2.3 基与维数 (Basis and dimension)
▮▮ 3. 线性变换与矩阵 (Linear Transformations and Matrices)
▮▮▮▮ 3.1 线性变换 (Linear Transformations)
▮▮▮▮▮▮ 3.1.1 线性变换的定义与性质 (Definition and properties of linear transformations)
▮▮▮▮▮▮ 3.1.2 线性变换的核与像 (Kernel and image of linear transformations)
▮▮▮▮ 3.2 线性变换的矩阵表示 (Matrix Representation of Linear Transformations)
▮▮▮▮▮▮ 3.2.1 基的选择与坐标表示 (Choice of basis and coordinate representation)
▮▮▮▮▮▮ 3.2.2 线性变换矩阵的求法 (Methods for finding the matrix of a linear transformation)
▮▮▮▮▮▮ 3.2.3 相似矩阵与基变换 (Similar matrices and change of basis)
▮▮ 4. 特征值与特征向量 (Eigenvalues and Eigenvectors)
▮▮▮▮ 4.1 特征值与特征向量的定义 (Definition of Eigenvalues and Eigenvectors)
▮▮▮▮▮▮ 4.1.1 特征值与特征向量的几何意义 (Geometric meaning of eigenvalues and eigenvectors)
▮▮▮▮▮▮ 4.1.2 特征多项式与特征方程 (Characteristic polynomial and characteristic equation)
▮▮▮▮ 4.2 特征子空间与对角化 (Eigenspaces and Diagonalization)
▮▮▮▮▮▮ 4.2.1 特征子空间的定义与性质 (Definition and properties of eigenspaces)
▮▮▮▮▮▮ 4.2.2 矩阵可对角化的条件 (Conditions for matrix diagonalization)
▮▮▮▮▮▮ 4.2.3 矩阵的对角化方法 (Methods for matrix diagonalization)
▮▮ 5. 矩阵分解 (Matrix Decompositions)
▮▮▮▮ 5.1 LU分解 (LU Decomposition)
▮▮▮▮▮▮ 5.1.1 LU分解的原理与步骤 (Principle and steps of LU decomposition)
▮▮▮▮▮▮ 5.1.2 Doolittle 分解与 Crout 分解 (Doolittle decomposition and Crout decomposition)
▮▮▮▮ 5.2 QR分解 (QR Decomposition)
▮▮▮▮▮▮ 5.2.1 Gram-Schmidt 正交化方法 (Gram-Schmidt orthogonalization method)
▮▮▮▮▮▮ 5.2.2 Householder 反射与 Givens 旋转 (Householder reflection and Givens rotation)
▮▮▮▮ 5.3 奇异值分解 (SVD - Singular Value Decomposition)
▮▮▮▮▮▮ 5.3.1 奇异值的定义与性质 (Definition and properties of singular values)
▮▮▮▮▮▮ 5.3.2 奇异值分解的几何意义与应用 (Geometric meaning and applications of SVD)
▮▮ 6. 数值线性代数 (Numerical Linear Algebra)
▮▮▮▮ 6.1 向量与矩阵的范数 (Norms of Vectors and Matrices)
▮▮▮▮▮▮ 6.1.1 向量范数的定义与类型 (Definition and types of vector norms)
▮▮▮▮▮▮ 6.1.2 矩阵范数的定义与类型 (Definition and types of matrix norms)
▮▮▮▮ 6.2 迭代法解线性方程组 (Iterative Methods for Solving Linear Equations)
▮▮▮▮▮▮ 6.2.1 Jacobi 迭代法 (Jacobi iterative method)
▮▮▮▮▮▮ 6.2.2 Gauss-Seidel 迭代法 (Gauss-Seidel iterative method)
▮▮▮▮ 6.3 特征值问题的数值方法 (Numerical Methods for Eigenvalue Problems)
▮▮▮▮▮▮ 6.3.1 幂迭代法 (Power iteration method)
▮▮▮▮▮▮ 6.3.2 反幂迭代法 (Inverse power iteration method)
▮▮ 7. 应用 (Applications)
▮▮▮▮ 7.1 线性代数在计算机图形学中的应用 (Applications in Computer Graphics)
▮▮▮▮▮▮ 7.1.1 坐标变换与矩阵 (Coordinate transformation and matrices)
▮▮▮▮▮▮ 7.1.2 图形渲染中的矩阵运算 (Matrix operations in graphics rendering)
▮▮▮▮ 7.2 线性代数在机器学习中的应用 (Applications in Machine Learning)
▮▮▮▮▮▮ 7.2.1 线性回归与最小二乘法 (Linear regression and least squares method)
▮▮▮▮▮▮ 7.2.2 主成分分析 (PCA - Principal Component Analysis)
▮▮▮▮ 7.3 线性代数在优化问题中的应用 (Applications in Optimization Problems)
▮▮▮▮▮▮ 7.3.1 线性规划 (Linear programming)
▮▮▮▮▮▮ 7.3.2 最优化方法中的矩阵分析 (Matrix analysis in optimization methods)
▮▮ 8. 高级主题 (Advanced Topics)
▮▮▮▮ 8.1 矩阵的谱理论 (Spectral Theory of Matrices)
▮▮▮▮▮▮ 8.1.1 谱分解 (Spectral decomposition)
▮▮▮▮▮▮ 8.1.2 矩阵函数 (Matrix functions)
▮▮▮▮ 8.2 克罗内克积与向量化 (Kronecker Product and Vectorization)
▮▮▮▮▮▮ 8.2.1 克罗内克积的定义与性质 (Definition and properties of Kronecker product)
▮▮▮▮▮▮ 8.2.2 向量化的应用 (Applications of vectorization)
▮▮▮▮ 8.3 张量初步 (Introduction to Tensors)
▮▮▮▮▮▮ 8.3.1 张量的基本概念 (Basic concepts of tensors)
▮▮▮▮▮▮ 8.3.2 张量分解简介 (Introduction to tensor decomposition)
▮▮ 附录A: 线性代数常用符号与术语 (Common Symbols and Terminology in Linear Algebra)
▮▮ 附录B: 数学软件应用 (Application of Mathematical Software)
▮▮ 附录C: 参考文献 (References)

1. 基础知识 (Basic Knowledge)

本章介绍线性代数的基础概念，包括线性方程组、矩阵及其基本运算，为后续章节的学习打下基础。

1.1 线性方程组 (System of Linear Equations)

本节介绍线性方程组的定义、表示方法以及高斯消元法，为求解线性方程组提供基本工具。

1.1.1 线性方程组的定义与表示 (Definition and representation of linear equations systems)

线性方程组是包含一个或多个线性方程的集合。一个线性方程是指变量的次数均为一次的方程。例如，对于 \(n\) 个变量 \(x_1, x_2, \ldots, x_n\)，一个线性方程可以表示为：
\[ a_1x_1 + a_2x_2 + \cdots + a_nx_n = b \]
其中，\(a_1, a_2, \ldots, a_n\) 和 \(b\) 都是常数，\(a_i\) 称为变量 \(x_i\) 的系数，\(b\) 是常数项。

一个线性方程组由若干个这样的线性方程组成。例如，一个包含 \(m\) 个方程和 \(n\) 个变量的线性方程组可以表示为：
\[ \begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n = b_1 \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n = b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n = b_m \end{cases} \]
其中，\(a_{ij}\) 是第 \(i\) 个方程中变量 \(x_j\) 的系数，\(b_i\) 是第 \(i\) 个方程的常数项。我们的目标是找到一组 \(x_1, x_2, \ldots, x_n\) 的值，使得这 \(m\) 个方程同时成立。

线性方程组的表示方法：

① 标准形式 (Standard Form): 如上述方程组的展开形式，清晰地展示了每个方程和每个变量的系数。

② 向量形式 (Vector Form): 线性方程组可以简洁地表示为向量方程。对于上述方程组，我们可以将变量 \(x_1, x_2, \ldots, x_n\) 看作向量 \(\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}\)，系数 \(a_{ij}\) 和常数项 \(b_i\) 也可以组织成向量和矩阵的形式。但是，更常见的向量形式表示单个线性方程。例如，线性方程 \(a_1x_1 + a_2x_2 + \cdots + a_nx_n = b\) 可以看作是向量 \(\mathbf{a} = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{pmatrix}\) 和向量 \(\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}\) 的点积等于 \(b\)，即 \(\mathbf{a}^T\mathbf{x} = b\) 或 \(\mathbf{x}^T\mathbf{a} = b\)。

③ 矩阵形式 (Matrix Form): 线性方程组最常用且最紧凑的表示形式是矩阵形式。我们将系数 \(a_{ij}\) 组成系数矩阵 \(A\)，变量 \(x_j\) 组成列向量 \(\mathbf{x}\)，常数项 \(b_i\) 组成列向量 \(\mathbf{b}\)。则线性方程组可以表示为矩阵方程：
\[ A\mathbf{x} = \mathbf{b} \]
其中，
\[ A = \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix}, \quad \mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}, \quad \mathbf{b} = \begin{pmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{pmatrix} \]
矩阵形式 \(A\mathbf{x} = \mathbf{b}\) 不仅简洁，而且便于使用矩阵理论和方法来分析和求解线性方程组。其中，\(A\) 是一个 \(m \times n\) 矩阵，\(\mathbf{x}\) 是一个 \(n \times 1\) 列向量，\(\mathbf{b}\) 是一个 \(m \times 1\) 列向量。我们将矩阵 \(A\) 和向量 \(\mathbf{b}\) 组合在一起形成增广矩阵 \( [A|\mathbf{b}] \)，用于高斯消元法求解线性方程组。

\[ [A|\mathbf{b}] = \left[ \begin{array}{cccc|c} a_{11} & a_{12} & \cdots & a_{1n} & b_1 \\ a_{21} & a_{22} & \cdots & a_{2n} & b_2 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} & b_m \end{array} \right] \]

1.1.2 高斯消元法 (Gaussian Elimination)

高斯消元法是一种求解线性方程组的经典方法。其基本思想是通过一系列的初等行变换 (elementary row operations)，将增广矩阵化为行阶梯形矩阵 (row echelon form) 或 简化行阶梯形矩阵 (reduced row echelon form)，从而求解线性方程组的解。

初等行变换包括以下三种操作：

① 交换行 (Row Switching): 交换矩阵的两行，记为 \(R_i \leftrightarrow R_j\)，表示交换第 \(i\) 行和第 \(j\) 行。

② 倍乘行 (Row Multiplication): 将某一行乘以一个非零常数 \(k\)，记为 \(kR_i \rightarrow R_i\)，表示将第 \(i\) 行的所有元素乘以 \(k\)。

③ 消去变换 (Row Addition/Replacement): 将某一行乘以一个常数 \(k\) 加到另一行，记为 \(R_i + kR_j \rightarrow R_i\)，表示将第 \(j\) 行的 \(k\) 倍加到第 \(i\) 行上。

高斯消元法的步骤：

给定线性方程组 \(A\mathbf{x} = \mathbf{b}\)，首先写出其增广矩阵 \( [A|\mathbf{b}] \)。然后，通过初等行变换将增广矩阵化为行阶梯形矩阵。

化为行阶梯形矩阵的步骤 (前向消元):

① 从最左边的非零列开始，选取该列的主元 (pivot)。主元是指用于消去下方元素的首个非零元素。通常选择该列最上面的非零元素作为主元。如果该列全为零，则移到下一列。

② 通过行交换，将主元所在行交换到当前处理行的位置（通常是尽可能靠上的位置）。

③ 使用倍乘行变换，将主元变为 1 (可选，为了简化计算，有时不做这一步)。

④ 使用消去变换，将主元下方所有行的对应列元素消为零。即，对于主元所在行下方的每一行，通过减去主元所在行的适当倍数，使得该行在主元所在列的元素变为零。

⑤ 对主元所在行的右下方子矩阵重复步骤 ①-④，直到矩阵变为行阶梯形。

行阶梯形矩阵的特点：

⚝ 每行的第一个非零元素（称为先导元素 (leading entry) 或主元）都位于其上方行的先导元素的右侧。
⚝ 先导元素所在列的下方元素均为零。
⚝ 所有零行都位于矩阵的底部。

将增广矩阵化为行阶梯形矩阵后，可以通过回代 (back-substitution) 求解线性方程组的解。为了更直接地得到解，通常继续将行阶梯形矩阵化为简化行阶梯形矩阵 (reduced row echelon form)。

化为简化行阶梯形矩阵的步骤 (后向消元):

⑥ 从最右边的先导元素开始，向上依次处理每一行的先导元素。

⑦ 使用消去变换，将先导元素上方所有行的对应列元素消为零。

⑧ 使用倍乘行变换，将所有先导元素变为 1。

简化行阶梯形矩阵的特点：

⚝ 满足行阶梯形矩阵的所有特点。
⚝ 每个先导元素都是其所在列的唯一非零元素，且为 1。

化为简化行阶梯形矩阵后，可以直接读出线性方程组的解。

示例：使用高斯消元法求解线性方程组
\[ \begin{cases} x_1 + 2x_2 + 3x_3 = 9 \\ 2x_1 - x_2 + x_3 = 8 \\ 3x_1 - x_3 = 3 \end{cases} \]

解：

① 写出增广矩阵：
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 3 & 9 \\ 2 & -1 & 1 & 8 \\ 3 & 0 & -1 & 3 \end{array} \right] \]

② \(R_2 - 2R_1 \rightarrow R_2\)，\(R_3 - 3R_1 \rightarrow R_3\):
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 3 & 9 \\ 0 & -5 & -5 & -10 \\ 0 & -6 & -10 & -24 \end{array} \right] \]

③ \(-\frac{1}{5}R_2 \rightarrow R_2\):
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 3 & 9 \\ 0 & 1 & 1 & 2 \\ 0 & -6 & -10 & -24 \end{array} \right] \]

④ \(R_3 + 6R_2 \rightarrow R_3\):
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 3 & 9 \\ 0 & 1 & 1 & 2 \\ 0 & 0 & -4 & -12 \end{array} \right] \]
此时，矩阵已化为行阶梯形矩阵。

⑤ \(-\frac{1}{4}R_3 \rightarrow R_3\):
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 3 & 9 \\ 0 & 1 & 1 & 2 \\ 0 & 0 & 1 & 3 \end{array} \right] \]

⑥ \(R_1 - 3R_3 \rightarrow R_1\)，\(R_2 - R_3 \rightarrow R_2\):
\[ \left[ \begin{array}{ccc|c} 1 & 2 & 0 & 0 \\ 0 & 1 & 0 & -1 \\ 0 & 0 & 1 & 3 \end{array} \right] \]

⑦ \(R_1 - 2R_2 \rightarrow R_1\):
\[ \left[ \begin{array}{ccc|c} 1 & 0 & 0 & 2 \\ 0 & 1 & 0 & -1 \\ 0 & 0 & 1 & 3 \end{array} \right] \]
此时，矩阵已化为简化行阶梯形矩阵。

从简化行阶梯形矩阵可以直接读出解：\(x_1 = 2\)，\(x_2 = -1\)，\(x_3 = 3\)。因此，线性方程组的解为 \(\mathbf{x} = \begin{pmatrix} 2 \\ -1 \\ 3 \end{pmatrix}\)。

1.1.3 行阶梯形与简化行阶梯形 (Row echelon form and reduced row echelon form)

行阶梯形矩阵 (Row Echelon Form - REF) 和 简化行阶梯形矩阵 (Reduced Row Echelon Form - RREF) 是通过高斯消元法得到的两种特殊形式的矩阵，它们在求解线性方程组和矩阵分析中具有重要作用。

行阶梯形矩阵 (REF) 的定义:

一个矩阵是行阶梯形矩阵，如果它满足以下条件：

① 所有非零行都在所有零行之上。
② 每行的先导元素（第一个非零元素，也称为主元）所在列的下方所有元素都是零。
③ 每一行的先导元素位于前一行先导元素的右侧。

简化行阶梯形矩阵 (RREF) 的定义:

一个矩阵是简化行阶梯形矩阵，如果它满足以下条件：

① 它是行阶梯形矩阵。
② 每个先导元素都是 1。
③ 每个先导元素是其所在列的唯一非零元素。

行阶梯形矩阵与简化行阶梯形矩阵的应用：

① 求解线性方程组: 如高斯消元法所示，将增广矩阵化为行阶梯形或简化行阶梯形矩阵，可以直接求解线性方程组的解。简化行阶梯形矩阵尤其方便，可以直接读出解的形式。

② 判断线性方程组解的情况:
▮▮▮▮⚝ 唯一解 (Unique Solution): 如果将增广矩阵化为行阶梯形矩阵后，系数矩阵部分的每一列都有先导元素（即，秩等于变量数），且没有出现 \(0 = b\) (其中 \(b \neq 0\)) 形式的矛盾方程，则线性方程组有唯一解。在简化行阶梯形矩阵中，表现为每个变量都对应一个先导元素。
▮▮▮▮⚝ 无穷多解 (Infinitely Many Solutions): 如果将增广矩阵化为行阶梯形矩阵后，没有出现 \(0 = b\) (其中 \(b \neq 0\)) 形式的矛盾方程，但系数矩阵部分存在没有先导元素的列（即，秩小于变量数），则线性方程组有无穷多解。在简化行阶梯形矩阵中，表现为存在自由变量 (free variables)，即没有对应先导元素的变量。解可以用参数表示。
▮▮▮▮⚝ 无解 (No Solution): 如果将增广矩阵化为行阶梯形矩阵后，出现 \(0 = b\) (其中 \(b \neq 0\)) 形式的矛盾方程，则线性方程组无解。在简化行阶梯形矩阵中，表现为最后一行出现 \[ \begin{array}{cccc|c} 0 & 0 & \cdots & 0 & b \end{array} \] 的形式，其中 \(b \neq 0\)。

③ 求矩阵的秩 (Rank of a Matrix): 矩阵的秩定义为行阶梯形矩阵中非零行的数量。秩是矩阵的一个重要数值特征，反映了矩阵的“有效”行数或列数，与线性方程组的解的结构密切相关。

④ 求矩阵的逆 (Inverse of a Matrix): 对于方阵 \(A\)，可以通过将增广矩阵 \( [A|I] \) (其中 \(I\) 是单位矩阵) 化为简化行阶梯形矩阵。如果简化行阶梯形矩阵的形式为 \( [I|B] \)，则 \(B = A^{-1}\) 是矩阵 \(A\) 的逆矩阵。如果化简后的左侧不是单位矩阵，则 \(A\) 不可逆。

⑤ 向量空间的基 (Basis of Vector Spaces): 矩阵的行空间 (row space) 的一组基可以通过将矩阵化为行阶梯形矩阵后，取所有非零行向量得到。矩阵的列空间 (column space) 的一组基可以通过找出原矩阵中对应于行阶梯形矩阵先导元素所在列的列向量得到。

行阶梯形矩阵和简化行阶梯形矩阵是线性代数中重要的工具，它们不仅用于求解线性方程组，还在矩阵理论和应用中发挥着关键作用。理解和掌握行阶梯形矩阵和简化行阶梯形矩阵的概念和性质，对于深入学习线性代数至关重要。

1.2 矩阵与矩阵运算 (Matrices and Matrix Operations)

本节介绍矩阵的定义、类型以及矩阵的基本运算，包括加法、标量乘法、矩阵乘法、转置和共轭转置。

1.2.1 矩阵的定义与类型 (Definition and types of matrices)

矩阵的定义 (Definition of Matrix):

矩阵是由 \(m \times n\) 个数 \(a_{ij}\) (其中 \(i = 1, 2, \ldots, m; j = 1, 2, \ldots, n\)) 排列成 \(m\) 行 \(n\) 列的矩形阵列，记作：
\[ A = \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix} \]
其中，\(a_{ij}\) 称为矩阵 \(A\) 的第 \(i\) 行第 \(j\) 列的元素，简记为 \(A = (a_{ij})\) 或 \(A = [a_{ij}]_{m \times n}\)。\(m\) 称为矩阵的行数 (number of rows)，\(n\) 称为矩阵的列数 (number of columns)，\(m \times n\) 称为矩阵的阶数 (order) 或 尺寸 (size)。当 \(m = n\) 时，称 \(A\) 为 方阵 (square matrix)，阶数为 \(n\) 或 \(n\) 阶方阵。

矩阵的类型 (Types of Matrices):

① 方阵 (Square Matrix): 行数和列数相等的矩阵，即 \(m = n\) 的矩阵。

② 零矩阵 (Zero Matrix): 所有元素都是零的矩阵，记作 \(O\) 或 \(O_{m \times n}\)。例如，\(O = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}\) 是一个 \(2 \times 2\) 零矩阵。

③ 单位矩阵 (Identity Matrix): 主对角线元素为 1，其余元素为 0 的方阵，记作 \(I\) 或 \(I_n\)。例如，\(I_3 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}\) 是一个 3 阶单位矩阵。单位矩阵在矩阵乘法中类似于数乘中的 1，即对于任意 \(m \times n\) 矩阵 \(A\)，有 \(AI_n = A\) 和 \(I_m A = A\)。

④ 对角矩阵 (Diagonal Matrix): 只有主对角线上的元素可能非零，其余元素都为零的方阵。例如，\(D = \begin{pmatrix} d_{11} & 0 & 0 \\ 0 & d_{22} & 0 \\ 0 & 0 & d_{33} \end{pmatrix}\) 是一个对角矩阵。

⑤ 数量矩阵 (Scalar Matrix): 主对角线上的元素都相等，其余元素都为零的方阵。数量矩阵可以看作是对角矩阵的特殊情况，也可以看作是单位矩阵的标量倍数，即 \(kI\)，其中 \(k\) 是一个标量。

⑥ 三角矩阵 (Triangular Matrix): 分为 上三角矩阵 (upper triangular matrix) 和 下三角矩阵 (lower triangular matrix)。
▮▮▮▮⚝ 上三角矩阵: 主对角线下方元素均为零的方阵。例如，\(U = \begin{pmatrix} u_{11} & u_{12} & u_{13} \\ 0 & u_{22} & u_{23} \\ 0 & 0 & u_{33} \end{pmatrix}\)。
▮▮▮▮⚝ 下三角矩阵: 主对角线上方元素均为零的方阵。例如，\(L = \begin{pmatrix} l_{11} & 0 & 0 \\ l_{21} & l_{22} & 0 \\ l_{31} & l_{32} & l_{33} \end{pmatrix}\)。

⑦ 对称矩阵 (Symmetric Matrix): 满足 \(A^T = A\) 的方阵，即 \(a_{ij} = a_{ji}\) 对于所有 \(i, j\) 成立。对称矩阵关于主对角线对称。

⑧ 反对称矩阵 (Skew-symmetric Matrix): 满足 \(A^T = -A\) 的方阵，即 \(a_{ij} = -a_{ji}\) 对于所有 \(i, j\) 成立，且主对角线元素 \(a_{ii} = 0\)。

⑨ Hermitian 矩阵 (Hermitian Matrix) (共轭对称矩阵): 对于复数矩阵，满足 \(A^H = A\) 的方阵，其中 \(A^H\) 是 \(A\) 的共轭转置。即 \(a_{ij} = \overline{a_{ji}}\) 对于所有 \(i, j\) 成立，主对角线元素必须是实数。

⑩ 反 Hermitian 矩阵 (Skew-Hermitian Matrix) (共轭反对称矩阵): 对于复数矩阵，满足 \(A^H = -A\) 的方阵，即 \(a_{ij} = -\overline{a_{ji}}\) 对于所有 \(i, j\) 成立，主对角线元素必须是纯虚数或零。

⑪ 正交矩阵 (Orthogonal Matrix): 实数方阵 \(Q\) 满足 \(Q^T Q = Q Q^T = I\)，即 \(Q^{-1} = Q^T\)。正交矩阵的列向量 (或行向量) 组是标准正交基。

⑫ 酉矩阵 (Unitary Matrix): 复数方阵 \(U\) 满足 \(U^H U = U U^H = I\)，即 \(U^{-1} = U^H\)。酉矩阵的列向量 (或行向量) 组是标准正交基。

这些类型的矩阵在线性代数和其应用中经常出现，并具有重要的性质和作用。

1.2.2 矩阵的加法、标量乘法与乘法 (Matrix addition, scalar multiplication and matrix multiplication)

矩阵的加法 (Matrix Addition):

只有同型矩阵 (matrices of the same size) (即行数和列数都相等的矩阵) 才能进行加法运算。设 \(A = [a_{ij}]_{m \times n}\) 和 \(B = [b_{ij}]_{m \times n}\) 是两个 \(m \times n\) 矩阵，它们的和 \(C = A + B\) 也是一个 \(m \times n\) 矩阵，其元素 \(c_{ij}\) 定义为对应位置元素的和：
\[ c_{ij} = a_{ij} + b_{ij}, \quad i = 1, 2, \ldots, m; \quad j = 1, 2, \ldots, n \]
矩阵加法满足以下性质：
⚝ 交换律 (Commutative Law): \(A + B = B + A\)
⚝ 结合律 (Associative Law): \((A + B) + C = A + (B + C)\)
⚝ 加法单位元 (Additive Identity): 存在零矩阵 \(O\)，使得 \(A + O = O + A = A\)
⚝ 加法逆元 (Additive Inverse): 对于任意矩阵 \(A\)，存在矩阵 \(-A\)，使得 \(A + (-A) = (-A) + A = O\)，其中 \(-A = [-a_{ij}]_{m \times n}\)。

标量乘法 (Scalar Multiplication):

标量乘法是指将一个矩阵乘以一个标量 (数)。设 \(A = [a_{ij}]_{m \times n}\) 是一个 \(m \times n\) 矩阵，\(k\) 是一个标量，则标量乘积 \(kA\) 也是一个 \(m \times n\) 矩阵，其元素定义为矩阵 \(A\) 的每个元素都乘以标量 \(k\):
\[ kA = [ka_{ij}]_{m \times n} \]
标量乘法满足以下性质：
⚝ 分配律 (Distributive Law) (标量): \(k(A + B) = kA + kB\)
⚝ 分配律 (Distributive Law) (矩阵): \((k + l)A = kA + lA\)
⚝ 结合律 (Associative Law): \(k(lA) = (kl)A\)
⚝ 单位元 (Multiplicative Identity): \(1A = A\)
⚝ 零元 (Zero Element): \(0A = O\)

矩阵的乘法 (Matrix Multiplication):

矩阵乘法与矩阵加法和标量乘法不同，其运算规则较为复杂。只有当第一个矩阵的列数等于第二个矩阵的行数时，两个矩阵才能相乘。设 \(A = [a_{ij}]_{m \times p}\) 是一个 \(m \times p\) 矩阵，\(B = [b_{jk}]_{p \times n}\) 是一个 \(p \times n\) 矩阵，它们的乘积 \(C = AB\) 是一个 \(m \times n\) 矩阵，其元素 \(c_{ik}\) 定义为：
\[ c_{ik} = \sum_{j=1}^{p} a_{ij}b_{jk} = a_{i1}b_{1k} + a_{i2}b_{2k} + \cdots + a_{ip}b_{pk}, \quad i = 1, 2, \ldots, m; \quad k = 1, 2, \ldots, n \]
即，\(C\) 的第 \(i\) 行第 \(k\) 列的元素 \(c_{ik}\) 是矩阵 \(A\) 的第 \(i\) 行与矩阵 \(B\) 的第 \(k\) 列的对应元素乘积之和。

矩阵乘法满足以下性质：
⚝ 结合律 (Associative Law): \((AB)C = A(BC)\) (前提是矩阵乘法有意义)
⚝ 分配律 (Distributive Law): \(A(B + C) = AB + AC\)，\((A + B)C = AC + BC\) (前提是矩阵加法和乘法有意义)
⚝ 与标量乘法的结合律 (Compatibility with Scalar Multiplication): \(k(AB) = (kA)B = A(kB)\)
⚝ 单位元 (Identity Element): 对于 \(n\) 阶方阵 \(A\)，有 \(AI_n = I_n A = A\)，其中 \(I_n\) 是 \(n\) 阶单位矩阵。

需要注意的是，矩阵乘法通常不满足交换律，即一般情况下 \(AB \neq BA\)。 只有在某些特殊情况下，如 \(A\) 和 \(B\) 都是对角矩阵或某些特殊类型的矩阵时，才可能满足 \(AB = BA\)。 此外，矩阵乘法没有除法运算，虽然有逆矩阵的概念，但只有部分方阵存在逆矩阵。

1.2.3 矩阵的转置与共轭转置 (Transpose and conjugate transpose of matrices)

矩阵的转置 (Transpose of a Matrix):

矩阵的转置是将矩阵的行和列互换得到的新矩阵。设 \(A = [a_{ij}]_{m \times n}\) 是一个 \(m \times n\) 矩阵，则 \(A\) 的转置矩阵记作 \(A^T\) 或 \(A'\)，是一个 \(n \times m\) 矩阵，其元素 \((A^T)_{ij}\) 定义为：
\[ (A^T)_{ij} = a_{ji}, \quad i = 1, 2, \ldots, n; \quad j = 1, 2, \ldots, m \]
即，矩阵 \(A^T\) 的第 \(i\) 行是矩阵 \(A\) 的第 \(i\) 列，矩阵 \(A^T\) 的第 \(j\) 列是矩阵 \(A\) 的第 \(j\) 行。

矩阵转置满足以下性质：
⚝ \((A^T)^T = A\) (转置的转置等于原矩阵)
⚝ \((A + B)^T = A^T + B^T\) (和的转置等于转置的和)
⚝ \((kA)^T = kA^T\) (标量乘积的转置等于标量乘以转置)
⚝ \((AB)^T = B^T A^T\) (乘积的转置等于转置的乘积，注意顺序反转)

共轭转置 (Conjugate Transpose) (或 Hermitian 转置) (Conjugate Transpose or Hermitian Transpose):

共轭转置是针对复数矩阵而言的概念。对于复数矩阵 \(A = [a_{ij}]_{m \times n}\)，其共轭转置矩阵记作 \(A^H\) 或 \(A^*\)，是一个 \(n \times m\) 矩阵，其元素 \((A^H)_{ij}\) 定义为矩阵 \(A\) 的元素 \(a_{ji}\) 的复共轭：
\[ (A^H)_{ij} = \overline{a_{ji}}, \quad i = 1, 2, \ldots, n; \quad j = 1, 2, \ldots, m \]
其中，\(\overline{a_{ji}}\) 表示复数 \(a_{ji}\) 的共轭复数。对于实数矩阵，共轭转置就是转置，即 \(A^H = A^T\)。

共轭转置满足以下性质：
⚝ \((A^H)^H = A\) (共轭转置的共轭转置等于原矩阵)
⚝ \((A + B)^H = A^H + B^H\) (和的共轭转置等于共轭转置的和)
⚝ \((kA)^H = \overline{k}A^H\) (标量乘积的共轭转置等于标量的共轭乘以共轭转置，注意标量要取共轭)
⚝ \((AB)^H = B^H A^H\) (乘积的共轭转置等于共轭转置的乘积，注意顺序反转)

转置和共轭转置在矩阵理论和应用中都非常重要。例如，在求解最小二乘问题、定义内积、研究矩阵的特征值和奇异值分解等方面，都离不开转置和共轭转置的概念和性质。在实际应用中，尤其是在处理涉及复数的数据时，共轭转置比转置更为常用。例如在量子力学、信号处理和通信等领域，复数矩阵和共轭转置是必不可少的工具。

2. 向量空间 (Vector Spaces)

本章深入探讨向量空间的概念，包括向量空间的定义、子空间、线性相关性与线性无关性、基与维数等核心概念。

2.1 向量空间及其子空间 (Vector Spaces and Subspaces)

本节系统介绍向量空间的定义和公理，列举常见的向量空间实例，并详细定义和判定子空间。

2.1.1 向量空间的定义与公理 (Definition and axioms of vector spaces)

为了深入理解线性代数，向量空间 (vector space) 是一个至关重要的概念。它提供了一个抽象的框架，使我们能够研究各种数学对象（不仅仅是我们通常理解的“向量”），只要这些对象满足特定的运算规则。

定义 2.1.1 (向量空间)：
设 \(V\) 是一个非空集合，\(F\) 是一个域 (field)（在本书中，我们主要考虑实数域 \(R\) 或复数域 \(C\))。如果在 \(V\) 上定义了两种运算：

① 向量加法 (vector addition)：对于 \(V\) 中任意两个元素 \(\mathbf{u}\) 和 \(\mathbf{v}\)，存在唯一的元素 \(\mathbf{u} + \mathbf{v} \in V\)，称为 \(\mathbf{u}\) 与 \(\mathbf{v}\) 的和。
② 标量乘法 (scalar multiplication)：对于 \(F\) 中任意标量 \(c\) 和 \(V\) 中任意元素 \(\mathbf{u}\)，存在唯一的元素 \(c\mathbf{u} \in V\)，称为标量 \(c\) 与向量 \(\mathbf{u}\) 的积。

并且，这两种运算满足以下八条公理，则称 \(V\) 为定义在域 \(F\) 上的向量空间，\(V\) 中的元素称为向量 (vectors)。

向量空间公理 (Vector Space Axioms)：

对于 \(V\) 中任意向量 \(\mathbf{u}, \mathbf{v}, \mathbf{w}\) 和 \(F\) 中任意标量 \(c, d\)，以下公理必须成立：

加法公理 (Addition Axioms)：
① 加法交换律 (Commutativity)：\(\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}\) (向量加法的顺序不影响结果)。
② 加法结合律 (Associativity)：\((\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w})\) (多个向量相加时，结合方式不影响结果)。
③ 零向量 (Zero Vector)：存在一个零向量 \(\mathbf{0} \in V\)，使得对于任意 \(\mathbf{u} \in V\)，有 \(\mathbf{u} + \mathbf{0} = \mathbf{u}\) (存在加法单位元)。
④ 加法逆元 (Additive Inverse)：对于任意 \(\mathbf{u} \in V\)，存在一个向量 \(-\mathbf{u} \in V\)，使得 \(\mathbf{u} + (-\mathbf{u}) = \mathbf{0}\) (每个向量都有加法逆元)。

标量乘法公理 (Scalar Multiplication Axioms)：
⑤ 标量乘法结合律 (Associativity)：\(c(d\mathbf{u}) = (cd)\mathbf{u}\) (标量乘法与标量乘法的结合律)。
⑥ 分配律 (Distributivity) Ⅰ：\(c(\mathbf{u} + \mathbf{v}) = c\mathbf{u} + c\mathbf{v}\) (标量乘法对向量加法的分配律)。
⑦ 分配律 (Distributivity) Ⅱ：\((c + d)\mathbf{u} = c\mathbf{u} + d\mathbf{u}\) (标量乘法对标量加法的分配律)。
⑧ 单位标量 (Unit Scalar)：\(1\mathbf{u} = \mathbf{u}\) (标量 \(1\) 是标量乘法的单位元)。

解释与说明：

⚝ 域 \(F\) (Field)：域是一个代数结构，其中可以进行加法、减法、乘法和除法运算（除以非零元素），且这些运算满足一定的性质。实数域 \(R\) 和复数域 \(C\) 是最常见的域。在实际应用中，我们通常处理实向量空间 (real vector space)（域为 \(R\)) 或复向量空间 (complex vector space)（域为 \(C\))。
⚝ 向量 (Vectors)：向量空间的元素被称为向量，但它们不一定是我们通常在物理或几何中理解的箭头。向量可以是数字、函数、矩阵，甚至是更抽象的对象，只要它们满足向量空间的公理。
⚝ 零向量 \(\mathbf{0}\) (Zero Vector)：零向量是向量空间中唯一的加法单位元。它不是数字 \(0\)，而是一个特殊的向量。例如，在 \(R^n\) 中，零向量是 \((0, 0, \ldots, 0)\)。
⚝ 加法逆元 \(-\mathbf{u}\) (Additive Inverse)：对于每个向量 \(\mathbf{u}\)，都存在唯一的加法逆元 \(-\mathbf{u}\)，使得它们的和为零向量。

重要推论：
从向量空间的公理可以推导出一些重要的性质，例如：
⚝ \(0\mathbf{u} = \mathbf{0}\) (标量 \(0\) 乘以任何向量都得到零向量)。
⚝ \(c\mathbf{0} = \mathbf{0}\) (任何标量乘以零向量都得到零向量)。
⚝ \(-1\mathbf{u} = -\mathbf{u}\) (标量 \(-1\) 乘以向量 \(\mathbf{u}\) 得到 \(\mathbf{u}\) 的加法逆元)。
⚝ 如果 \(c\mathbf{u} = \mathbf{0}\)，则 \(c = 0\) 或 \(\mathbf{u} = \mathbf{0}\) (如果标量乘积为零向量，则标量为零或向量为零向量)。

理解向量空间的定义和公理是学习线性代数的基础。它帮助我们从更抽象和更广阔的角度看待线性结构，为后续学习子空间、线性变换、特征值等概念奠定坚实的基础。

2.1.2 常见向量空间 (Common vector spaces)

向量空间的概念非常广泛，许多不同的数学对象都构成了向量空间。以下列举一些常见的向量空间，帮助读者理解向量空间概念的广泛性。

① \(n\) 维实向量空间 \(R^n\)：
\(R^n\) 是由所有 \(n\) 维实数向量组成的集合，其中每个向量形如 \(\mathbf{u} = (u_1, u_2, \ldots, u_n)\)，其中 \(u_i \in R\) (\(i = 1, 2, \ldots, n\))。向量加法和标量乘法定义如下：
⚝ 向量加法：\( \mathbf{u} + \mathbf{v} = (u_1+v_1, u_2+v_2, \ldots, u_n+v_n) \)
⚝ 标量乘法：\( c\mathbf{u} = (cu_1, cu_2, \ldots, cu_n) \)
其中 \(\mathbf{v} = (v_1, v_2, \ldots, v_n) \in R^n\) 和 \(c \in R\)。可以验证，\(R^n\) 满足向量空间的八条公理。例如，零向量是 \(\mathbf{0} = (0, 0, \ldots, 0)\)，向量 \(\mathbf{u} = (u_1, u_2, \ldots, u_n)\) 的加法逆元是 \(-\mathbf{u} = (-u_1, -u_2, \ldots, -u_n)\)。

② \(n\) 维复向量空间 \(C^n\)：
\(C^n\) 是由所有 \(n\) 维复数向量组成的集合，其中每个向量形如 \(\mathbf{z} = (z_1, z_2, \ldots, z_n)\)，其中 \(z_i \in C\) (\(i = 1, 2, \ldots, n\))。向量加法和标量乘法与 \(R^n\) 类似，但标量可以是复数。可以验证，\(C^n\) 也是一个向量空间（域为 \(C\))。

③ \(m \times n\) 矩阵空间 \(M_{m \times n}(F)\)：
\(M_{m \times n}(F)\) 是由所有 \(m \times n\) 的矩阵组成的集合，矩阵的元素来自域 \(F\)。矩阵加法和标量乘法是按元素进行的。例如，对于 \(A, B \in M_{m \times n}(F)\) 和 \(c \in F\)，\(A+B\) 和 \(cA\) 定义如下：
⚝ 矩阵加法：\((A+B)_{ij} = A_{ij} + B_{ij}\)
⚝ 标量乘法：\((cA)_{ij} = cA_{ij}\)
其中 \(A_{ij}\) 表示矩阵 \(A\) 的第 \(i\) 行第 \(j\) 列的元素。可以验证，\(M_{m \times n}(F)\) 满足向量空间的八条公理。零向量是 \(m \times n\) 零矩阵。

④ 多项式空间 \(P_n(F)\)：
\(P_n(F)\) 是由所有次数不超过 \(n\) 的多项式组成的集合，系数来自域 \(F\)。多项式加法和标量乘法是通常的多项式运算。例如，对于 \(p(x) = a_0 + a_1x + \ldots + a_nx^n\) 和 \(q(x) = b_0 + b_1x + \ldots + b_nx^n\) 属于 \(P_n(F)\) 以及 \(c \in F\)，\(p(x) + q(x)\) 和 \(cp(x)\) 定义如下：
⚝ 多项式加法：\((p+q)(x) = (a_0+b_0) + (a_1+b_1)x + \ldots + (a_n+b_n)x^n\)
⚝ 标量乘法：\((cp)(x) = (ca_0) + (ca_1)x + \ldots + (ca_n)x^n\)
可以验证，\(P_n(F)\) 是一个向量空间。零向量是零多项式 \(p(x) = 0\)。

⑤ 函数空间 \(F(S, F)\)：
设 \(S\) 是一个非空集合，\(F(S, F)\) 是由所有从 \(S\) 到域 \(F\) 的函数组成的集合。函数加法和标量乘法定义如下：
⚝ 函数加法：对于 \(f, g \in F(S, F)\)，定义 \((f+g)(s) = f(s) + g(s)\)，对于所有 \(s \in S\)。
⚝ 标量乘法：对于 \(f \in F(S, F)\) 和 \(c \in F\)，定义 \((cf)(s) = c(f(s))\)，对于所有 \(s \in S\)。
可以验证，\(F(S, F)\) 是一个向量空间。零向量是零函数，即对于所有 \(s \in S\)，\(f(s) = 0\)。例如，当 \(S = R\) 且 \(F = R\) 时，\(F(R, R)\) 是所有实函数构成的向量空间。

这些常见的向量空间类型展示了向量空间概念的多样性。理解这些例子有助于加深对抽象向量空间定义的理解。

2.1.3 子空间的定义与判定 (Definition and determination of subspaces)

在向量空间中，我们经常会遇到“嵌套”在其内部的更小的向量空间，这些就是子空间 (subspace)。子空间继承了父向量空间的向量加法和标量乘法运算，并且自身也构成一个向量空间。

定义 2.1.2 (子空间)：
设 \(V\) 是域 \(F\) 上的向量空间，\(W\) 是 \(V\) 的一个非空子集。如果 \(W\) 在 \(V\) 的向量加法和标量乘法运算下也构成域 \(F\) 上的向量空间，则称 \(W\) 是 \(V\) 的一个子空间 (subspace)。

子空间的判定定理：
为了判断 \(V\) 的一个非空子集 \(W\) 是否是 \(V\) 的子空间，我们不需要验证向量空间的全部八条公理。以下定理提供了一个更简便的判定方法。

定理 2.1.1 (子空间判定定理)：
设 \(V\) 是域 \(F\) 上的向量空间，\(W\) 是 \(V\) 的一个非空子集。则 \(W\) 是 \(V\) 的子空间当且仅当以下两个条件成立：
① 加法封闭性 (Closure under addition)：对于任意 \(\mathbf{u}, \mathbf{v} \in W\)，有 \(\mathbf{u} + \mathbf{v} \in W\)。
② 标量乘法封闭性 (Closure under scalar multiplication)：对于任意 \(\mathbf{u} \in W\) 和 \(c \in F\)，有 \(c\mathbf{u} \in W\)。

证明概要：
如果 \(W\) 是 \(V\) 的子空间，根据定义，\(W\) 自身也是向量空间，因此必须满足向量空间的所有公理，包括加法封闭性和标量乘法封闭性。
反之，如果 \(W\) 满足加法封闭性和标量乘法封闭性，由于 \(W\) 是 \(V\) 的子集，向量加法的交换律、结合律以及标量乘法的结合律、分配律、单位标量公理在 \(W\) 中自然成立（因为它们在更大的空间 \(V\) 中成立）。我们只需要验证零向量和加法逆元在 \(W\) 中。

⚝ 零向量：由于 \(W\) 非空，存在 \(\mathbf{w} \in W\)。根据标量乘法封闭性，取标量 \(c = 0\)，则 \(0\mathbf{w} = \mathbf{0} \in W\)。所以，零向量在 \(W\) 中。
⚝ 加法逆元：对于任意 \(\mathbf{u} \in W\)，根据标量乘法封闭性，取标量 \(c = -1\)，则 \((-1)\mathbf{u} = -\mathbf{u} \in W\)。所以，\(\mathbf{u}\) 的加法逆元也在 \(W\) 中。

因此，如果 \(W\) 是 \(V\) 的非空子集，且满足加法封闭性和标量乘法封闭性，则 \(W\) 是 \(V\) 的子空间。

简化的判定条件：
条件 ① 和 ② 可以合并为一个条件：对于任意 \(\mathbf{u}, \mathbf{v} \in W\) 和任意标量 \(c, d \in F\)，有 \(c\mathbf{u} + d\mathbf{v} \in W\)。这称为线性组合封闭性。

例子：
⚝ 在向量空间 \(R^2\) 中，设 \(W = \{ (x, y) \in R^2 \mid y = 2x \}\)。判断 \(W\) 是否是 \(R^2\) 的子空间。
▮▮▮▮⚝ 非空性：\(W\) 包含零向量 \((0, 0)\) (因为 \(0 = 2 \times 0\))，所以 \(W\) 非空。
▮▮▮▮⚝ 加法封闭性：设 \(\mathbf{u} = (x_1, 2x_1) \in W\) 和 \(\mathbf{v} = (x_2, 2x_2) \in W\)。则 \(\mathbf{u} + \mathbf{v} = (x_1+x_2, 2x_1+2x_2) = (x_1+x_2, 2(x_1+x_2))\)。令 \(x = x_1+x_2\)，则 \(\mathbf{u} + \mathbf{v} = (x, 2x)\)，满足 \(y = 2x\) 的形式，所以 \(\mathbf{u} + \mathbf{v} \in W\)。
▮▮▮▮⚝ 标量乘法封闭性：设 \(\mathbf{u} = (x, 2x) \in W\) 和 \(c \in R\)。则 \(c\mathbf{u} = (cx, c(2x)) = (cx, 2(cx))\)。令 \(x' = cx\)，则 \(c\mathbf{u} = (x', 2x')\)，满足 \(y = 2x\) 的形式，所以 \(c\mathbf{u} \in W\)。
由于 \(W\) 满足加法封闭性和标量乘法封闭性，所以 \(W\) 是 \(R^2\) 的子空间。几何上，\(W\) 是 \(R^2\) 中过原点的一条直线。

⚝ 在向量空间 \(R^2\) 中，设 \(W = \{ (x, y) \in R^2 \mid y = x + 1 \}\)。判断 \(W\) 是否是 \(R^2\) 的子空间。
▮▮▮▮⚝ 非空性：\(W\) 非空，例如 \((0, 1) \in W\)。
▮▮▮▮⚝ 加法封闭性：设 \(\mathbf{u} = (x_1, x_1+1) \in W\) 和 \(\mathbf{v} = (x_2, x_2+1) \in W\)。则 \(\mathbf{u} + \mathbf{v} = (x_1+x_2, (x_1+1)+(x_2+1)) = (x_1+x_2, (x_1+x_2)+2)\)。令 \(x = x_1+x_2\)，则 \(\mathbf{u} + \mathbf{v} = (x, x+2)\)。由于 \(y = x+2 \neq x+1\)，所以 \(\mathbf{u} + \mathbf{v} \notin W\)。
由于 \(W\) 不满足加法封闭性，所以 \(W\) 不是 \(R^2\) 的子空间。此外，\(W\) 也不包含零向量 \((0, 0)\) (因为 \(0 \neq 0+1\))。几何上，\(W\) 是 \(R^2\) 中不过原点的一条直线。

理解子空间的概念和判定方法，有助于我们更深入地分析向量空间的结构。子空间是线性代数中非常重要的概念，它在后续的线性变换、特征空间等内容的学习中起着关键作用。

2.2 线性相关性与线性无关性 (Linear Dependence and Independence)

本节深入讲解线性相关性与线性无关性的概念，以及线性组合、线性生成、基与维数等重要概念。

2.2.1 线性组合与线性生成 (Linear combinations and linear span)

线性组合 (linear combination) 和线性生成 (linear span) 是描述向量之间以及向量与向量空间之间关系的重要概念。

定义 2.2.1 (线性组合)：
设 \(V\) 是域 \(F\) 上的向量空间，\(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\) 是 \(V\) 中的一组向量。对于任意一组标量 \(c_1, c_2, \ldots, c_k \in F\)，向量
\[ \mathbf{v} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k \]
称为向量 \(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\) 的一个线性组合 (linear combination)，其中 \(c_1, c_2, \ldots, c_k\) 称为组合系数 (coefficients)。

例子：
在 \(R^3\) 中，设 \(\mathbf{v}_1 = (1, 2, 1)\)，\(\mathbf{v}_2 = (0, 1, -1)\)，\(\mathbf{v}_3 = (1, 3, 0)\)。向量 \(\mathbf{v} = (2, 5, 1)\) 可以表示为 \(\mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3\) 的线性组合吗？

我们需要找到标量 \(c_1, c_2, c_3\) 使得 \(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + c_3\mathbf{v}_3 = \mathbf{v}\)，即
\[ c_1(1, 2, 1) + c_2(0, 1, -1) + c_3(1, 3, 0) = (2, 5, 1) \]
展开得到线性方程组：
\[ \begin{cases} c_1 + 0c_2 + c_3 = 2 \\ 2c_1 + c_2 + 3c_3 = 5 \\ c_1 - c_2 + 0c_3 = 1 \end{cases} \]
解这个线性方程组，例如使用高斯消元法，可以得到 \(c_1 = 1\)，\(c_2 = 0\)，\(c_3 = 1\)。因此，\(\mathbf{v} = 1\mathbf{v}_1 + 0\mathbf{v}_2 + 1\mathbf{v}_3 = \mathbf{v}_1 + \mathbf{v}_3\)，所以 \(\mathbf{v}\) 可以表示为 \(\mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3\) 的线性组合。

定义 2.2.2 (线性生成/张成)：
设 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\) 是向量空间 \(V\) 的一个向量子集。由 \(S\) 中向量的所有线性组合构成的集合称为由 \(S\) 线性生成 (linearly spanned) 或 张成 (spanned) 的子空间，记为 \(\text{span}(S)\) 或 \(\text{span}\{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\)。
\[ \text{span}(S) = \{ c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k \mid c_1, c_2, \ldots, c_k \in F \} \]

定理 2.2.1 (线性生成子空间)：
对于向量空间 \(V\) 的任意非空子集 \(S\)，\(\text{span}(S)\) 都是 \(V\) 的子空间，且 \(\text{span}(S)\) 是包含 \(S\) 的最小子空间。即，如果 \(W\) 是 \(V\) 的子空间且 \(S \subseteq W\)，则 \(\text{span}(S) \subseteq W\)。

解释与说明：
⚝ \(\text{span}(S)\) 总是 \(V\) 的子空间，无论 \(S\) 是什么。即使 \(S\) 是空集，定义 \(\text{span}(\emptyset) = \{ \mathbf{0} \}\)，它也是 \(V\) 的子空间（零子空间）。
⚝ \(\text{span}(S)\) 是所有包含 \(S\) 的子空间的交集。
⚝ “由 \(S\) 线性生成 \(V\)” 意味着 \(V = \text{span}(S)\)，即 \(V\) 中每个向量都可以表示为 \(S\) 中向量的线性组合。此时，称 \(S\) 生成 (span) \(V\)，或称 \(S\) 是 \(V\) 的一个生成集 (spanning set)。

例子：
⚝ 在 \(R^3\) 中，设 \(\mathbf{e}_1 = (1, 0, 0)\)，\(\mathbf{e}_2 = (0, 1, 0)\)，\(\mathbf{e}_3 = (0, 0, 1)\)。则 \(\text{span}\{ \mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3 \} = R^3\)。因为任意向量 \(\mathbf{v} = (x, y, z) \in R^3\) 都可以表示为 \(\mathbf{v} = x\mathbf{e}_1 + y\mathbf{e}_2 + z\mathbf{e}_3\)。所以，集合 \(S = \{ \mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3 \}\) 生成 \(R^3\)。
⚝ 在 \(R^3\) 中，设 \(\mathbf{v}_1 = (1, 0, 0)\)，\(\mathbf{v}_2 = (0, 1, 0)\)。则 \(\text{span}\{ \mathbf{v}_1, \mathbf{v}_2 \}\) 是 \(R^3\) 的一个子空间，它是由所有形如 \(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 = (c_1, c_2, 0)\) 的向量组成的集合。几何上，\(\text{span}\{ \mathbf{v}_1, \mathbf{v}_2 \}\) 是 \(xy\)-平面。

线性组合和线性生成是构建和描述向量空间及其子空间的重要工具。它们为我们理解向量之间的依赖关系和向量空间的结构提供了基础。

2.2.2 线性相关与线性无关的定义 (Definition of linear dependence and independence)

线性相关性 (linear dependence) 和线性无关性 (linear independence) 是描述一组向量之间是否存在非平凡线性关系的核心概念。

定义 2.2.3 (线性相关)：
设 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\) 是向量空间 \(V\) 中的一组向量。如果存在不全为零的标量 \(c_1, c_2, \ldots, c_k \in F\)，使得
\[ c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k = \mathbf{0} \]
成立，则称向量组 \(S\) 是线性相关 (linearly dependent) 的。

定义 2.2.4 (线性无关)：
设 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\) 是向量空间 \(V\) 中的一组向量。如果只有当所有标量都为零，即 \(c_1 = c_2 = \ldots = c_k = 0\) 时，等式
\[ c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k = \mathbf{0} \]
才成立，则称向量组 \(S\) 是线性无关 (linearly independent) 的。

解释与说明：
⚝ 平凡解 (Trivial solution)：对于任何向量组 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\)，总存在一组解 \(c_1 = c_2 = \ldots = c_k = 0\) 使得 \(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k = \mathbf{0}\)。这称为平凡解。
⚝ 非平凡解 (Nontrivial solution)：如果除了平凡解外，还存在其他解（即至少有一个 \(c_i \neq 0\))，则向量组是线性相关的。如果只有平凡解，则向量组是线性无关的。
⚝ 几何意义：在 \(R^2\) 或 \(R^3\) 中，
▮▮▮▮⚝ 两个向量线性相关，当且仅当它们共线。
▮▮▮▮⚝ 三个向量线性相关，当且仅当它们共面。
⚝ 单个向量：单个非零向量总是线性无关的。单个零向量总是线性相关的。
⚝ 包含零向量的向量组：任何包含零向量的向量组都是线性相关的，因为我们可以令零向量的系数为非零，其余向量的系数为零，即可满足线性相关的条件。

判定线性相关性/无关性的方法：
要判断向量组 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\) 是否线性相关或线性无关，需要考察齐次线性方程组 \(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \ldots + c_k\mathbf{v}_k = \mathbf{0}\) 的解的情况。

将向量 \(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\) 写成列向量形式，并组成矩阵 \(A = [\mathbf{v}_1 \ \mathbf{v}_2 \ \ldots \ \mathbf{v}_k]\)。则线性组合方程变为矩阵方程 \(A\mathbf{c} = \mathbf{0}\)，其中 \(\mathbf{c} = (c_1, c_2, \ldots, c_k)^T\) 是系数向量，\(\mathbf{0}\) 是零向量。

⚝ 线性无关：如果齐次方程 \(A\mathbf{c} = \mathbf{0}\) 只有零解 \(\mathbf{c} = \mathbf{0}\) (即 \(c_1 = c_2 = \ldots = c_k = 0\))，则向量组 \(S\) 线性无关。
⚝ 线性相关：如果齐次方程 \(A\mathbf{c} = \mathbf{0}\) 有非零解 (即至少有一个 \(c_i \neq 0\))，则向量组 \(S\) 线性相关。

例子：
判断 \(R^3\) 中的向量组 \(S = \{ \mathbf{v}_1 = (1, 2, -1), \mathbf{v}_2 = (2, 1, 0), \mathbf{v}_3 = (0, 1, -1) \}\) 是否线性相关。

构造矩阵 \(A = [\mathbf{v}_1 \ \mathbf{v}_2 \ \mathbf{v}_3] = \begin{pmatrix} 1 & 2 & 0 \\ 2 & 1 & 1 \\ -1 & 0 & -1 \end{pmatrix}\)。我们需要解齐次方程 \(A\mathbf{c} = \mathbf{0}\)，即
\[ \begin{pmatrix} 1 & 2 & 0 \\ 2 & 1 & 1 \\ -1 & 0 & -1 \end{pmatrix} \begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \]
对增广矩阵 \([A|\mathbf{0}] = \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 2 & 1 & 1 & | & 0 \\ -1 & 0 & -1 & | & 0 \end{pmatrix}\) 进行高斯消元：
\[ \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 2 & 1 & 1 & | & 0 \\ -1 & 0 & -1 & | & 0 \end{pmatrix} \xrightarrow{R_2 - 2R_1, R_3 + R_1} \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 0 & -3 & 1 & | & 0 \\ 0 & 2 & -1 & | & 0 \end{pmatrix} \xrightarrow{R_2 \times (-\frac{1}{3})} \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 0 & 1 & -\frac{1}{3} & | & 0 \\ 0 & 2 & -1 & | & 0 \end{pmatrix} \]
\[ \xrightarrow{R_3 - 2R_2} \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 0 & 1 & -\frac{1}{3} & | & 0 \\ 0 & 0 & -\frac{1}{3} & | & 0 \end{pmatrix} \xrightarrow{R_3 \times (-3)} \begin{pmatrix} 1 & 2 & 0 & | & 0 \\ 0 & 1 & -\frac{1}{3} & | & 0 \\ 0 & 0 & 1 & | & 0 \end{pmatrix} \]
回代求解：\(c_3 = 0\)，\(c_2 - \frac{1}{3}c_3 = 0 \Rightarrow c_2 = 0\)，\(c_1 + 2c_2 = 0 \Rightarrow c_1 = 0\)。
因此，齐次方程只有零解 \(c_1 = c_2 = c_3 = 0\)，所以向量组 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3 \}\) 是线性无关的。

线性相关性和线性无关性是判断向量组性质的重要工具，它们是理解基、维数等概念的基础。

2.2.3 基与维数 (Basis and dimension)

基 (basis) 和维数 (dimension) 是描述向量空间大小和结构的关键概念。基提供了一个“坐标系统”，使得向量空间中的每个向量都可以用基向量的线性组合唯一表示。维数则量化了向量空间“自由度”的大小。

定义 2.2.5 (基)：
设 \(V\) 是向量空间。向量组 \(\beta = \{ \mathbf{b}_1, \mathbf{b}_2, \ldots, \mathbf{b}_n \}\) 称为 \(V\) 的一个基 (basis)，如果 \(\beta\) 满足以下两个条件：
① 生成性 (Spanning)：\(\beta\) 生成 \(V\)，即 \(\text{span}(\beta) = V\)。
② 线性无关性 (Linear Independence)：\(\beta\) 是线性无关的。

定理 2.2.2 (唯一表示定理)：
设 \(\beta = \{ \mathbf{b}_1, \mathbf{b}_2, \ldots, \mathbf{b}_n \}\) 是向量空间 \(V\) 的一个基。则对于 \(V\) 中任意向量 \(\mathbf{v}\)，存在唯一一组标量 \(c_1, c_2, \ldots, c_n \in F\) 使得
\[ \mathbf{v} = c_1\mathbf{b}_1 + c_2\mathbf{b}_2 + \ldots + c_n\mathbf{b}_n \]
成立。标量 \(c_1, c_2, \ldots, c_n\) 称为向量 \(\mathbf{v}\) 在基 \(\beta\) 下的坐标 (coordinates)。

解释与说明：
⚝ 基既要足够“大”以生成整个向量空间（生成性），又要足够“小”以保证表示的唯一性（线性无关性）。
⚝ 向量空间可以有多个不同的基。
⚝ 对于有限维向量空间，基所包含的向量个数是固定的，这个个数就是向量空间的维数。

定义 2.2.6 (维数)：
如果向量空间 \(V\) 存在一个包含 \(n\) 个向量的基，则称 \(V\) 是有限维向量空间 (finite-dimensional vector space)，并称 \(n\) 为 \(V\) 的维数 (dimension)，记为 \(\dim(V) = n\)。如果 \(V\) 不存在有限基，则称 \(V\) 是无限维向量空间 (infinite-dimensional vector space)。零向量空间 \(\{ \mathbf{0} \}\) 的维数定义为 \(0\)。

定理 2.2.3 (维数定理)：
对于有限维向量空间 \(V\)，任意两个基所含向量的个数都相等，都等于 \(V\) 的维数。

常见向量空间的基与维数：
⚝ \(R^n\) 的标准基 (standard basis) 为 \(\beta = \{ \mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_n \}\)，其中 \(\mathbf{e}_i\) 是第 \(i\) 个分量为 \(1\)，其余分量为 \(0\) 的向量。例如，\(R^3\) 的标准基为 \(\{ (1, 0, 0), (0, 1, 0), (0, 0, 1) \}\)。\(\dim(R^n) = n\)。
⚝ \(C^n\) 的标准基与 \(R^n\) 类似，\(\dim(C^n) = n\)。
⚝ \(M_{m \times n}(F)\) 的标准基由 \(mn\) 个矩阵 \(E_{ij}\) 组成，其中 \(E_{ij}\) 是第 \(i\) 行第 \(j\) 列元素为 \(1\)，其余元素为 \(0\) 的 \(m \times n\) 矩阵。\(\dim(M_{m \times n}(F)) = mn\)。
⚝ \(P_n(F)\) 的标准基为 \(\{ 1, x, x^2, \ldots, x^n \}\)。\(\dim(P_n(F)) = n+1\)。
⚝ 函数空间 \(F(R, R)\) 是无限维向量空间。

求向量空间基与维数的方法：
⚝ 对于 \(\text{span}(S)\)：设 \(S = \{ \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \}\) 是向量空间 \(V\) 的一个子集。要求 \(\text{span}(S)\) 的基和维数，可以将向量 \(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\) 组成矩阵 \(A = [\mathbf{v}_1 \ \mathbf{v}_2 \ \ldots \ \mathbf{v}_k]^T\) （行向量形式），然后通过行变换化为行阶梯形矩阵。非零行向量构成 \(\text{span}(S)\) 的一个基，非零行向量的个数为 \(\text{span}(S)\) 的维数。或者，将向量 \(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\) 组成矩阵 \(B = [\mathbf{v}_1 \ \mathbf{v}_2 \ \ldots \ \mathbf{v}_k]\) （列向量形式），通过列变换化为列阶梯形矩阵，或者通过行变换求矩阵的秩。矩阵的秩 \(\text{rank}(B)\) 就是 \(\text{span}(S)\) 的维数。选取原矩阵 \(B\) 中与列阶梯形矩阵中主列位置相同的列向量，构成 \(\text{span}(S)\) 的一个基。

例子：
求 \(R^4\) 中由向量 \(\mathbf{v}_1 = (1, 2, 1, 0)\)，\(\mathbf{v}_2 = (2, 4, 2, 0)\)，\(\mathbf{v}_3 = (1, 1, 2, -1)\)，\(\mathbf{v}_4 = (0, 1, -1, 1)\) 生成的子空间的基和维数。

组成矩阵 \(A = \begin{pmatrix} 1 & 2 & 1 & 0 \\ 2 & 4 & 2 & 0 \\ 1 & 1 & 2 & -1 \\ 0 & 1 & -1 & 1 \end{pmatrix}\) 并进行行变换化为行阶梯形：
\[ \begin{pmatrix} 1 & 2 & 1 & 0 \\ 2 & 4 & 2 & 0 \\ 1 & 1 & 2 & -1 \\ 0 & 1 & -1 & 1 \end{pmatrix} \xrightarrow{R_2 - 2R_1, R_3 - R_1} \begin{pmatrix} 1 & 2 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & -1 & 1 & -1 \\ 0 & 1 & -1 & 1 \end{pmatrix} \xrightarrow{R_2 \leftrightarrow R_3} \begin{pmatrix} 1 & 2 & 1 & 0 \\ 0 & -1 & 1 & -1 \\ 0 & 0 & 0 & 0 \\ 0 & 1 & -1 & 1 \end{pmatrix} \]
\[ \xrightarrow{R_2 \times (-1), R_4 + R_2} \begin{pmatrix} 1 & 2 & 1 & 0 \\ 0 & 1 & -1 & 1 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{pmatrix} \]
行阶梯形矩阵的非零行向量为 \((1, 2, 1, 0)\) 和 \((0, 1, -1, 1)\)。因此，\(\text{span}\{ \mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3, \mathbf{v}_4 \}\) 的一个基为 \(\{ (1, 2, 1, 0), (0, 1, -1, 1) \}\)，维数为 \(2\)。注意，\(\mathbf{v}_1\) 和 \(\mathbf{v}_3\) 可以作为基，因为它们对应于行阶梯形矩阵的非零行。

基和维数是线性代数的核心概念，它们提供了描述和分析向量空间结构的重要工具。理解基和维数对于后续学习线性变换、特征值、矩阵分解等内容至关重要。

3. 线性变换与矩阵 (Linear Transformations and Matrices)

摘要

本章探讨线性变换的性质和表示，以及线性变换与矩阵之间的密切关系，为理解线性代数的应用奠定基础。

3.1 线性变换 (Linear Transformations)

摘要

本节介绍线性变换的定义、性质，以及线性变换的核与像，为深入理解线性变换打下基础。

3.1.1 线性变换的定义与性质 (Definition and properties of linear transformations)

摘要

严格定义线性变换，并详细阐述线性变换的基本性质，如可加性和齐次性。

在数学和线性代数中，线性变换 (linear transformation) 是向量空间之间保持向量加法和标量乘法的函数。线性变换是线性代数的核心概念之一，它将一个向量空间映射到另一个向量空间，同时保持了向量空间的基本结构。理解线性变换是深入学习线性代数及其应用的关键。

定义 3.1.1 (线性变换的定义)：
设 \(V\) 和 \(W\) 是在数域 \( \mathbb{F} \) 上的向量空间 (vector space)。一个从 \(V\) 到 \(W\) 的变换 \(T: V \rightarrow W\) 被称为线性变换 (linear transformation)，如果对于任意向量 \( \mathbf{u}, \mathbf{v} \in V \) 和任意标量 \( c \in \mathbb{F} \)，满足以下两个条件：

① 可加性 (Additivity)：
\[ T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}) \]
即，变换作用于向量和的结果等于变换结果的和。

② 齐次性 (Homogeneity) 或 比例性 (Scaling)：
\[ T(c\mathbf{u}) = cT(\mathbf{u}) \]
即，变换作用于标量乘向量的结果等于标量乘以变换结果。

如果 \(W = V\)，则称 \(T\) 为 \(V\) 上的线性算子 (linear operator)。

解释与理解：

⚝ 向量空间 \(V\) 和 \(W\)：线性变换作用于两个向量空间之间，这两个向量空间必须定义在同一个数域 \( \mathbb{F} \) 上。常见的数域包括实数域 \( \mathbb{R} \) 和复数域 \( \mathbb{C} \)。
⚝ 变换 \(T: V \rightarrow W\)：这是一个函数，它将 \(V\) 中的每个向量映射到 \(W\) 中的一个向量。
⚝ 可加性：这个性质保证了线性变换保持了向量加法的结构。如果我们将两个向量先相加再进行变换，结果与先分别变换再相加是一样的。
⚝ 齐次性：这个性质保证了线性变换保持了标量乘法的结构。如果我们将一个向量先进行标量乘法再进行变换，结果与先变换再进行相同的标量乘法是一样的。

线性变换的基本性质：

从线性变换的定义可以直接推导出一些重要的性质：

① 零向量的变换：对于任何线性变换 \(T: V \rightarrow W\)，都有 \(T(\mathbf{0}_V) = \mathbf{0}_W\)，其中 \( \mathbf{0}_V \) 是 \(V\) 中的零向量，\( \mathbf{0}_W \) 是 \(W\) 中的零向量。
▮▮▮▮⚝ 证明：利用齐次性，令 \(c = 0\)，则 \(T(\mathbf{0}_V) = T(0 \cdot \mathbf{v}) = 0 \cdot T(\mathbf{v}) = \mathbf{0}_W\)，其中 \( \mathbf{v} \) 是 \(V\) 中的任意向量。

② 线性组合的保持：线性变换保持线性组合。对于任意向量 \( \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \in V \) 和任意标量 \( c_1, c_2, \dots, c_n \in \mathbb{F} \)，有
\[ T(c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_n\mathbf{v}_n) = c_1T(\mathbf{v}_1) + c_2T(\mathbf{v}_2) + \dots + c_nT(\mathbf{v}_n) \]
▮▮▮▮⚝ 证明：可以通过对可加性和齐次性进行迭代应用来证明。例如，对于 \(n=2\)，
\[ T(c_1\mathbf{v}_1 + c_2\mathbf{v}_2) = T(c_1\mathbf{v}_1) + T(c_2\mathbf{v}_2) = c_1T(\mathbf{v}_1) + c_2T(\mathbf{v}_2) \]
对于更一般的情况，可以通过数学归纳法证明。

判断一个变换是否为线性变换的方法：

要判断一个变换 \(T: V \rightarrow W\) 是否为线性变换，需要验证其是否同时满足可加性和齐次性。在实际操作中，可以按照以下步骤进行：

① 验证可加性：对于任意 \( \mathbf{u}, \mathbf{v} \in V \)，计算 \(T(\mathbf{u} + \mathbf{v})\) 和 \(T(\mathbf{u}) + T(\mathbf{v})\)，并检查两者是否相等。
② 验证齐次性：对于任意 \( \mathbf{u} \in V \) 和 \( c \in \mathbb{F} \)，计算 \(T(c\mathbf{u})\) 和 \(cT(\mathbf{u})\)，并检查两者是否相等。
③ 同时满足：如果变换 \(T\) 同时满足可加性和齐次性，则 \(T\) 是线性变换；否则，不是线性变换。

常见线性变换的例子：

① 零变换 (Zero transformation)：\(T: V \rightarrow W\)，对于所有 \( \mathbf{v} \in V \)，\(T(\mathbf{v}) = \mathbf{0}_W\)。零变换显然是线性变换，因为它满足可加性和齐次性。

② 恒等变换 (Identity transformation)：\(I: V \rightarrow V\)，对于所有 \( \mathbf{v} \in V \)，\(I(\mathbf{v}) = \mathbf{v}\)。恒等变换也是线性变换。

③ 标量乘法变换 (Scalar multiplication transformation)：\(T: V \rightarrow V\)，对于所有 \( \mathbf{v} \in V \)，\(T(\mathbf{v}) = c\mathbf{v}\)，其中 \(c\) 是一个固定的标量。标量乘法变换是线性变换。

④ 矩阵乘法变换 (Matrix multiplication transformation)：设 \(A\) 是一个 \(m \times n\) 的矩阵，定义变换 \(T_A: \mathbb{R}^n \rightarrow \mathbb{R}^m\) 为 \(T_A(\mathbf{x}) = A\mathbf{x}\)，其中 \( \mathbf{x} \in \mathbb{R}^n \) 是一个列向量。矩阵乘法变换是线性变换，这是线性代数中非常重要的一类线性变换。

⑤ 微分算子 (Differentiation operator)：设 \(V = C^1[a, b]\) 是在区间 \([a, b]\) 上具有连续一阶导数的函数空间，\(W = C[a, b]\) 是在区间 \([a, b]\) 上的连续函数空间。定义微分算子 \(D: V \rightarrow W\) 为 \(D(f) = f'\)，即 \(D(f)\) 是函数 \(f\) 的导数。根据微分的性质，微分算子是线性变换。

⑥ 积分算子 (Integration operator)：设 \(V = C[a, b]\) 是在区间 \([a, b]\) 上的连续函数空间。定义积分算子 \(J: V \rightarrow \mathbb{R}\) 为 \(J(f) = \int_a^b f(x) dx\)。根据积分的性质，积分算子是线性变换。

非线性变换的例子：

① 平移变换 (Translation transformation)：\(T: \mathbb{R}^2 \rightarrow \mathbb{R}^2\)，\(T(\mathbf{x}) = \mathbf{x} + \mathbf{b}\)，其中 \( \mathbf{b} \neq \mathbf{0} \) 是一个固定的向量。平移变换不是线性变换，因为它通常不满足线性变换的条件（除非 \( \mathbf{b} = \mathbf{0} \)，此时平移变换变为恒等变换）。例如，\(T(\mathbf{0}) = \mathbf{b} \neq \mathbf{0}\)，违反了线性变换必须将零向量映射到零向量的性质。

② 平方变换 (Squaring transformation)：\(T: \mathbb{R} \rightarrow \mathbb{R}\)，\(T(x) = x^2\)。平方变换不是线性变换。例如，对于可加性，\(T(1+1) = T(2) = 4\)，而 \(T(1) + T(1) = 1^2 + 1^2 = 2\)，因此 \(T(1+1) \neq T(1) + T(1)\)。

总结：

线性变换是向量空间之间保持线性结构的映射，其核心性质是可加性和齐次性。理解和掌握线性变换的定义和性质是学习线性代数后续内容的基础，也是应用线性代数解决实际问题的关键。线性变换广泛应用于数学、物理、计算机科学、工程学等领域。

3.1.2 线性变换的核与像 (Kernel and image of linear transformations)

摘要

介绍线性变换的核（零空间）与像（值域）的概念，探讨它们的性质以及与线性变换的关系。

线性变换的核 (Kernel) 和 像 (Image) 是理解线性变换性质的两个重要概念。它们分别描述了线性变换的“零点”集合和“值域”集合，是分析线性变换结构的关键工具。

定义 3.1.2 (线性变换的核)：
设 \(T: V \rightarrow W\) 是从向量空间 \(V\) 到向量空间 \(W\) 的线性变换。\(T\) 的核 (kernel)，也称为零空间 (null space)，记作 \( \text{ker}(T) \) 或 \( N(T) \)，定义为 \(V\) 中所有被 \(T\) 映射到 \(W\) 的零向量的向量的集合：
\[ \text{ker}(T) = \{ \mathbf{v} \in V \mid T(\mathbf{v}) = \mathbf{0}_W \} \]
其中 \( \mathbf{0}_W \) 是 \(W\) 中的零向量。

定义 3.1.3 (线性变换的像)：
设 \(T: V \rightarrow W\) 是从向量空间 \(V\) 到向量空间 \(W\) 的线性变换。\(T\) 的像 (image)，也称为值域 (range)，记作 \( \text{im}(T) \) 或 \( R(T) \)，定义为 \(W\) 中所有可以被 \(V\) 中向量通过 \(T\) 映射得到的向量的集合：
\[ \text{im}(T) = \{ \mathbf{w} \in W \mid \exists \mathbf{v} \in V, \text{ s.t. } T(\mathbf{v}) = \mathbf{w} \} = \{ T(\mathbf{v}) \mid \mathbf{v} \in V \} \]

核与像的性质：

核 \( \text{ker}(T) \) 和像 \( \text{im}(T) \) 都具有重要的向量空间性质：

① 核是 \(V\) 的子空间 (Subspace)：\( \text{ker}(T) \) 是向量空间 \(V\) 的一个子空间。
▮▮▮▮⚝ 证明：
▮▮▮▮▮▮▮▮⚝ 非空性：由于 \(T(\mathbf{0}_V) = \mathbf{0}_W\)，所以 \( \mathbf{0}_V \in \text{ker}(T) \)，因此 \( \text{ker}(T) \) 非空。
▮▮▮▮▮▮▮▮⚝ 加法封闭性：设 \( \mathbf{u}, \mathbf{v} \in \text{ker}(T) \)，则 \(T(\mathbf{u}) = \mathbf{0}_W\) 且 \(T(\mathbf{v}) = \mathbf{0}_W\)。根据线性变换的可加性，\(T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}) = \mathbf{0}_W + \mathbf{0}_W = \mathbf{0}_W\)。因此，\( \mathbf{u} + \mathbf{v} \in \text{ker}(T) \)。
▮▮▮▮▮▮▮▮⚝ 标量乘法封闭性：设 \( \mathbf{u} \in \text{ker}(T) \) 且 \( c \in \mathbb{F} \)，则 \(T(\mathbf{u}) = \mathbf{0}_W\)。根据线性变换的齐次性，\(T(c\mathbf{u}) = cT(\mathbf{u}) = c\mathbf{0}_W = \mathbf{0}_W\)。因此，\( c\mathbf{u} \in \text{ker}(T) \)。
▮▮▮▮▮▮▮▮⚝ 综上所述，\( \text{ker}(T) \) 是 \(V\) 的子空间。

② 像是 \(W\) 的子空间 (Subspace)：\( \text{im}(T) \) 是向量空间 \(W\) 的一个子空间。
▮▮▮▮⚝ 证明：
▮▮▮▮▮▮▮▮⚝ 非空性：由于 \(T(\mathbf{0}_V) = \mathbf{0}_W\)，所以 \( \mathbf{0}_W \in \text{im}(T) \)，因此 \( \text{im}(T) \) 非空。
▮▮▮▮▮▮▮▮⚝ 加法封闭性：设 \( \mathbf{w}_1, \mathbf{w}_2 \in \text{im}(T) \)，则存在 \( \mathbf{v}_1, \mathbf{v}_2 \in V \) 使得 \(T(\mathbf{v}_1) = \mathbf{w}_1\) 且 \(T(\mathbf{v}_2) = \mathbf{w}_2\)。根据线性变换的可加性，\( \mathbf{w}_1 + \mathbf{w}_2 = T(\mathbf{v}_1) + T(\mathbf{v}_2) = T(\mathbf{v}_1 + \mathbf{v}_2)\)。由于 \( \mathbf{v}_1 + \mathbf{v}_2 \in V \)，所以 \( \mathbf{w}_1 + \mathbf{w}_2 \in \text{im}(T) \)。
▮▮▮▮▮▮▮▮⚝ 标量乘法封闭性：设 \( \mathbf{w} \in \text{im}(T) \) 且 \( c \in \mathbb{F} \)，则存在 \( \mathbf{v} \in V \) 使得 \(T(\mathbf{v}) = \mathbf{w}\)。根据线性变换的齐次性，\( c\mathbf{w} = cT(\mathbf{v}) = T(c\mathbf{v})\)。由于 \( c\mathbf{v} \in V \)，所以 \( c\mathbf{w} \in \text{im}(T) \).
▮▮▮▮▮▮▮▮⚝ 综上所述，\( \text{im}(T) \) 是 \(W\) 的子空间。

核与像的维度：秩-零度定理 (Rank-Nullity Theorem)：

核的维度和像的维度与向量空间 \(V\) 的维度之间存在着一个基本关系，这就是 秩-零度定理 (Rank-Nullity Theorem)，也称为 维度定理 (Dimension Theorem)。

定理 3.1.4 (秩-零度定理)：
设 \(T: V \rightarrow W\) 是从有限维向量空间 \(V\) 到向量空间 \(W\) 的线性变换。则
\[ \text{dim}(\text{ker}(T)) + \text{dim}(\text{im}(T)) = \text{dim}(V) \]
其中 \( \text{dim}(\text{ker}(T)) \) 称为 \(T\) 的 零度 (nullity)，\( \text{dim}(\text{im}(T)) \) 称为 \(T\) 的 秩 (rank)。

解释与应用：

⚝ 零度 (nullity)：\( \text{dim}(\text{ker}(T)) \) 表示核的维度，即核 \( \text{ker}(T) \) 的基所包含的向量个数。它衡量了线性变换 \(T\) “压缩”到零空间的程度。零度越大，意味着有更多的向量被映射到零向量。
⚝ 秩 (rank)：\( \text{dim}(\text{im}(T)) \) 表示像的维度，即像 \( \text{im}(T) \) 的基所包含的向量个数。它衡量了线性变换 \(T\) “展开”或“扩展”空间的程度。秩越大，意味着线性变换的值域越“丰富”。
⚝ 秩-零度定理的意义：这个定理揭示了线性变换在维度上的一个基本平衡关系。向量空间 \(V\) 的维度被分配到了核和像两个部分。一部分维度被“消耗”在映射到零向量（核），剩余的维度构成了像空间的维度。

如何求核与像：

给定一个线性变换 \(T: V \rightarrow W\)，如何求其核 \( \text{ker}(T) \) 和像 \( \text{im}(T) \) 呢？特别是当 \(V = \mathbb{R}^n\) 和 \(W = \mathbb{R}^m\)，且线性变换由矩阵乘法 \(T(\mathbf{x}) = A\mathbf{x}\) 给出时，求解方法如下：

设 \(A\) 是一个 \(m \times n\) 矩阵，\(T_A: \mathbb{R}^n \rightarrow \mathbb{R}^m\) 定义为 \(T_A(\mathbf{x}) = A\mathbf{x}\)。

① 求核 \( \text{ker}(T_A) \)：
▮▮▮▮⚝ 核 \( \text{ker}(T_A) \) 是所有满足 \(A\mathbf{x} = \mathbf{0}\) 的向量 \( \mathbf{x} \in \mathbb{R}^n \) 的集合。因此，求解 \( \text{ker}(T_A) \) 相当于求解 齐次线性方程组 (homogeneous system of linear equations) \(A\mathbf{x} = \mathbf{0}\)。
▮▮▮▮⚝ 使用 高斯消元法 (Gaussian elimination) 或 高斯-约旦消元法 (Gauss-Jordan elimination) 将矩阵 \(A\) 化为 行简化阶梯形矩阵 (reduced row echelon form) \(R\)。
▮▮▮▮⚝ 写出与 \(R\mathbf{x} = \mathbf{0}\) 等价的方程组，并确定 自由变量 (free variables)。
▮▮▮▮⚝ 将 基本解 (basic solution) 写成向量形式，这些基本解构成 \( \text{ker}(T_A) \) 的一组基。

② 求像 \( \text{im}(T_A) \)：
▮▮▮▮⚝ 像 \( \text{im}(T_A) \) 是所有形如 \(A\mathbf{x}\) 的向量的集合，其中 \( \mathbf{x} \in \mathbb{R}^n \)。换句话说，\( \text{im}(T_A) \) 是矩阵 \(A\) 的 列空间 (column space)，记作 \( \text{Col}(A) \)。
▮▮▮▮⚝ 使用高斯消元法将矩阵 \(A\) 化为行阶梯形矩阵 \(U\)。
▮▮▮▮⚝ 确定 \(A\) 的 主元列 (pivot columns)（即行阶梯形矩阵 \(U\) 中主元所在的列）。
▮▮▮▮⚝ 矩阵 \(A\) 的主元列构成 \( \text{Col}(A) = \text{im}(T_A) \) 的一组基。

例子：

设线性变换 \(T: \mathbb{R}^3 \rightarrow \mathbb{R}^4\) 由矩阵 \(A\) 给出：
\[ A = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \\ -1 & -2 & -3 \end{pmatrix} \]
求 \( \text{ker}(T) \) 和 \( \text{im}(T) \)。

① 求核 \( \text{ker}(T) \)：
▮▮▮▮⚝ 解方程组 \(A\mathbf{x} = \mathbf{0}\)。将 \(A\) 化为行简化阶梯形：
\[ \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \\ -1 & -2 & -3 \end{pmatrix} \xrightarrow{R_2-2R_1, R_3-3R_1, R_4+R_1} \begin{pmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix} = R \]
▮▮▮▮⚝ 方程组 \(R\mathbf{x} = \mathbf{0}\) 为 \(x_1 + 2x_2 + 3x_3 = 0\)，自由变量为 \(x_2\) 和 \(x_3\)。
▮▮▮▮⚝ 令 \(x_2 = s, x_3 = t\)，则 \(x_1 = -2s - 3t\)。解向量为
\[ \mathbf{x} = \begin{pmatrix} -2s - 3t \\ s \\ t \end{pmatrix} = s \begin{pmatrix} -2 \\ 1 \\ 0 \end{pmatrix} + t \begin{pmatrix} -3 \\ 0 \\ 1 \end{pmatrix} \]
▮▮▮▮⚝ 因此，\( \text{ker}(T) = \text{span} \left\{ \begin{pmatrix} -2 \\ 1 \\ 0 \end{pmatrix}, \begin{pmatrix} -3 \\ 0 \\ 1 \end{pmatrix} \right\} \)。\( \text{ker}(T) \) 的一组基为 \( \{ \begin{pmatrix} -2 \\ 1 \\ 0 \end{pmatrix}, \begin{pmatrix} -3 \\ 0 \\ 1 \end{pmatrix} \} \)，\( \text{dim}(\text{ker}(T)) = 2 \)。

② 求像 \( \text{im}(T) \)：
▮▮▮▮⚝ 矩阵 \(A\) 的行阶梯形矩阵已在上面求得 \(U = R = \begin{pmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix}\)。
▮▮▮▮⚝ 矩阵 \(A\) 的主元列为第1列。
▮▮▮▮⚝ 因此，\( \text{im}(T) = \text{Col}(A) = \text{span} \left\{ \begin{pmatrix} 1 \\ 2 \\ 3 \\ -1 \end{pmatrix} \right\} \)。\( \text{im}(T) \) 的一组基为 \( \{ \begin{pmatrix} 1 \\ 2 \\ 3 \\ -1 \end{pmatrix} \} \)，\( \text{dim}(\text{im}(T)) = 1 \)。

验证秩-零度定理：
\[ \text{dim}(\text{ker}(T)) + \text{dim}(\text{im}(T)) = 2 + 1 = 3 = \text{dim}(\mathbb{R}^3) \]
定理成立。

总结：

线性变换的核和像是理解线性变换结构的关键概念。核是映射到零向量的输入向量集合，像是所有可能的输出向量集合。核和像都是子空间，它们的维度之间通过秩-零度定理联系起来。掌握核与像的概念和求解方法，对于深入理解和应用线性变换至关重要。

3.2 线性变换的矩阵表示 (Matrix Representation of Linear Transformations)

摘要

本节重点讲解如何用矩阵表示线性变换，以及相似矩阵与基变换的概念，深入理解线性变换与矩阵的内在联系。

3.2.1 基的选择与坐标表示 (Choice of basis and coordinate representation)

摘要

解释基的选择对向量坐标表示的影响，以及如何在不同基下表示向量。

在向量空间中，基 (basis) 提供了一种坐标系统，使得任何向量都可以通过基向量的线性组合唯一地表示。坐标表示 (coordinate representation) 就是将向量表示为基向量线性组合的系数组成的向量。基的选择直接影响向量的坐标表示。本节将详细讨论基的选择与坐标表示之间的关系。

回顾基的概念：

设 \(V\) 是数域 \( \mathbb{F} \) 上的向量空间。\(V\) 的一个 有序基 (ordered basis) \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n \} \) 是 \(V\) 中一组线性无关的向量，且 \(V = \text{span}\{\mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n\}\)。如果 \(V\) 具有有限基，则称 \(V\) 是 有限维向量空间 (finite-dimensional vector space)，基中向量的个数 \(n\) 称为 \(V\) 的 维度 (dimension)，记作 \( \text{dim}(V) = n \)。

坐标表示的定义：

对于有限维向量空间 \(V\) 和一个有序基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n \} \)，对于任意向量 \( \mathbf{v} \in V \)，存在唯一的一组标量 \( c_1, c_2, \dots, c_n \in \mathbb{F} \) 使得
\[ \mathbf{v} = c_1\mathbf{b}_1 + c_2\mathbf{b}_2 + \dots + c_n\mathbf{b}_n \]
标量 \( c_1, c_2, \dots, c_n \) 称为向量 \( \mathbf{v} \) 相对于基 \( \mathcal{B} \) 的 坐标 (coordinates)。将这些坐标按顺序排列成列向量，得到 \( \mathbf{v} \) 相对于基 \( \mathcal{B} \) 的 坐标向量 (coordinate vector)，记作 \( [\mathbf{v}]_{\mathcal{B}} \)：
\[ [\mathbf{v}]_{\mathcal{B}} = \begin{pmatrix} c_1 \\ c_2 \\ \vdots \\ c_n \end{pmatrix} \in \mathbb{F}^n \]

基的选择对坐标表示的影响：

向量的坐标表示是相对于选定的基而言的。不同的基会导致同一个向量有不同的坐标表示。

例子 3.2.1：

考虑向量空间 \( \mathbb{R}^2 \)。

① 标准基 (Standard basis)：\( \mathcal{E} = \{ \mathbf{e}_1, \mathbf{e}_2 \} = \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \end{pmatrix} \} \)。对于向量 \( \mathbf{v} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \)，其相对于标准基 \( \mathcal{E} \) 的坐标表示为：
\[ \mathbf{v} = 3\mathbf{e}_1 + 2\mathbf{e}_2 = 3\begin{pmatrix} 1 \\ 0 \end{pmatrix} + 2\begin{pmatrix} 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \]
因此，\( [\mathbf{v}]_{\mathcal{E}} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \)。

② 另一个基：设 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} -1 \\ 1 \end{pmatrix} \} \)。要找到向量 \( \mathbf{v} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \) 相对于基 \( \mathcal{B} \) 的坐标表示，需要解方程：
\[ \begin{pmatrix} 3 \\ 2 \end{pmatrix} = c_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + c_2 \begin{pmatrix} -1 \\ 1 \end{pmatrix} = \begin{pmatrix} c_1 - c_2 \\ c_1 + c_2 \end{pmatrix} \]
得到方程组：
\[ \begin{cases} c_1 - c_2 = 3 \\ c_1 + c_2 = 2 \end{cases} \]
解得 \( c_1 = \frac{5}{2}, c_2 = -\frac{1}{2} \)。因此，\( \mathbf{v} = \frac{5}{2}\mathbf{b}_1 - \frac{1}{2}\mathbf{b}_2 \)，且
\[ [\mathbf{v}]_{\mathcal{B}} = \begin{pmatrix} 5/2 \\ -1/2 \end{pmatrix} \]

基变换与坐标变换：

当向量空间的基发生变化时，同一个向量的坐标表示也会随之改变。假设 \(V\) 是一个 \(n\) 维向量空间，有两个基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n \} \) 和 \( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2, \dots, \mathbf{c}_n \} \)。对于向量 \( \mathbf{v} \in V \)，我们已知其在基 \( \mathcal{C} \) 下的坐标 \( [\mathbf{v}]_{\mathcal{C}} \)，如何求其在基 \( \mathcal{B} \) 下的坐标 \( [\mathbf{v}]_{\mathcal{B}} \) 呢？

设 \( [\mathbf{v}]_{\mathcal{C}} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix} \)，则 \( \mathbf{v} = x_1\mathbf{c}_1 + x_2\mathbf{c}_2 + \dots + x_n\mathbf{c}_n \)。我们需要将每个基向量 \( \mathbf{c}_j \) 用基 \( \mathcal{B} \) 表示：
\[ \mathbf{c}_j = p_{1j}\mathbf{b}_1 + p_{2j}\mathbf{b}_2 + \dots + p_{nj}\mathbf{b}_n = \sum_{i=1}^n p_{ij}\mathbf{b}_i, \quad j = 1, 2, \dots, n \]
将这些表示代入 \( \mathbf{v} \) 的表达式：
\[ \mathbf{v} = \sum_{j=1}^n x_j\mathbf{c}_j = \sum_{j=1}^n x_j \left( \sum_{i=1}^n p_{ij}\mathbf{b}_i \right) = \sum_{i=1}^n \left( \sum_{j=1}^n p_{ij}x_j \right) \mathbf{b}_i \]
因此，\( \mathbf{v} \) 相对于基 \( \mathcal{B} \) 的坐标为 \( c_i = \sum_{j=1}^n p_{ij}x_j \)。用矩阵形式表示，设 \( [\mathbf{v}]_{\mathcal{B}} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix} \)，则
\[ \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix} = \begin{pmatrix} p_{11} & p_{12} & \dots & p_{1n} \\ p_{21} & p_{22} & \dots & p_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & \dots & p_{nn} \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix} \]
定义 从基 \( \mathcal{C} \) 到基 \( \mathcal{B} \) 的变换矩阵 (change-of-basis matrix) \(P_{\mathcal{B} \leftarrow \mathcal{C}}\) 为
\[ P_{\mathcal{B} \leftarrow \mathcal{C}} = \begin{pmatrix} [\mathbf{c}_1]_{\mathcal{B}} & [\mathbf{c}_2]_{\mathcal{B}} & \dots & [\mathbf{c}_n]_{\mathcal{B}} \end{pmatrix} = \begin{pmatrix} p_{11} & p_{12} & \dots & p_{1n} \\ p_{21} & p_{22} & \dots & p_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & \dots & p_{nn} \end{pmatrix} \]
则 坐标变换公式 (coordinate transformation formula) 为
\[ [\mathbf{v}]_{\mathcal{B}} = P_{\mathcal{B} \leftarrow \mathcal{C}} [\mathbf{v}]_{\mathcal{C}} \]
变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\) 的第 \(j\) 列是基向量 \( \mathbf{c}_j \) 相对于基 \( \mathcal{B} \) 的坐标向量 \( [\mathbf{c}_j]_{\mathcal{B}} \)。

如何求变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\)：

要找到从基 \( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2, \dots, \mathbf{c}_n \} \) 到基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n \} \) 的变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\)，需要：

① 将每个基向量 \( \mathbf{c}_j \) 用基 \( \mathcal{B} \) 表示为线性组合：\( \mathbf{c}_j = p_{1j}\mathbf{b}_1 + p_{2j}\mathbf{b}_2 + \dots + p_{nj}\mathbf{b}_n \)。
② 将系数 \( p_{1j}, p_{2j}, \dots, p_{nj} \) 构成矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\) 的第 \(j\) 列。

例子 3.2.2：

设 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \end{pmatrix} \} \) 是 \( \mathbb{R}^2 \) 的标准基，\( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2 \} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} -1 \\ 1 \end{pmatrix} \} \) 是另一个基。求从基 \( \mathcal{C} \) 到基 \( \mathcal{B} \) 的变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\)。

⚝ 将 \( \mathbf{c}_1 \) 用基 \( \mathcal{B} \) 表示：\( \mathbf{c}_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} = 1\begin{pmatrix} 1 \\ 0 \end{pmatrix} + 1\begin{pmatrix} 0 \\ 1 \end{pmatrix} = 1\mathbf{b}_1 + 1\mathbf{b}_2 \)，所以 \( [\mathbf{c}_1]_{\mathcal{B}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \)。
⚝ 将 \( \mathbf{c}_2 \) 用基 \( \mathcal{B} \) 表示：\( \mathbf{c}_2 = \begin{pmatrix} -1 \\ 1 \end{pmatrix} = -1\begin{pmatrix} 1 \\ 0 \end{pmatrix} + 1\begin{pmatrix} 0 \\ 1 \end{pmatrix} = -1\mathbf{b}_1 + 1\mathbf{b}_2 \)，所以 \( [\mathbf{c}_2]_{\mathcal{B}} = \begin{pmatrix} -1 \\ 1 \end{pmatrix} \).

因此，变换矩阵为：
\[ P_{\mathcal{B} \leftarrow \mathcal{C}} = \begin{pmatrix} [\mathbf{c}_1]_{\mathcal{B}} & [\mathbf{c}_2]_{\mathcal{B}} \end{pmatrix} = \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix} \]
验证例子 3.2.1 的结果：对于向量 \( \mathbf{v} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \)，\( [\mathbf{v}]_{\mathcal{C}} = \begin{pmatrix} 5/2 \\ -1/2 \end{pmatrix} \)。根据坐标变换公式，
\[ [\mathbf{v}]_{\mathcal{B}} = P_{\mathcal{B} \leftarrow \mathcal{C}} [\mathbf{v}]_{\mathcal{C}} = \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix} \begin{pmatrix} 5/2 \\ -1/2 \end{pmatrix} = \begin{pmatrix} 1 \cdot \frac{5}{2} + (-1) \cdot (-\frac{1}{2}) \\ 1 \cdot \frac{5}{2} + 1 \cdot (-\frac{1}{2}) \end{pmatrix} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \]
与例子 3.2.1 中 \( [\mathbf{v}]_{\mathcal{E}} = \begin{pmatrix} 3 \\ 2 \end{pmatrix} \) 结果一致（因为 \( \mathcal{B} = \mathcal{E} \) 是标准基）。

逆变换矩阵：

从基 \( \mathcal{C} \) 到基 \( \mathcal{B} \) 的变换矩阵 \(P_{\mathcal{B} \leftarrow \mathcal{C}}\) 是可逆的，其逆矩阵 \( (P_{\mathcal{B} \leftarrow \mathcal{C}})^{-1} \) 是从基 \( \mathcal{B} \) 到基 \( \mathcal{C} \) 的变换矩阵 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\)。即
\[ P_{\mathcal{C} \leftarrow \mathcal{B}} = (P_{\mathcal{B} \leftarrow \mathcal{C}})^{-1} \]
且 \( [\mathbf{v}]_{\mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [\mathbf{v}]_{\mathcal{B}} = (P_{\mathcal{B} \leftarrow \mathcal{C}})^{-1} [\mathbf{v}]_{\mathcal{B}} \)。

总结：

基的选择直接决定了向量的坐标表示。同一个向量在不同的基下有不同的坐标。基变换矩阵描述了从一个基到另一个基的坐标变换关系。理解基的选择与坐标表示之间的关系，以及如何进行基变换和坐标变换，是理解线性变换矩阵表示的基础。

3.2.2 线性变换矩阵的求法 (Methods for finding the matrix of a linear transformation)

摘要

系统讲解如何根据给定的基，求线性变换的矩阵表示，并提供具体步骤和例题。

线性变换的矩阵表示 (matrix representation of a linear transformation) 是将抽象的线性变换与具体的矩阵运算联系起来的关键概念。通过矩阵表示，我们可以利用矩阵运算来研究和计算线性变换。本节将详细介绍如何在一个给定的基下求线性变换的矩阵表示。

设 \(V\) 和 \(W\) 是有限维向量空间，\( \text{dim}(V) = n, \text{dim}(W) = m \)。设 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n \} \) 是 \(V\) 的一个有序基，\( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2, \dots, \mathbf{c}_m \} \) 是 \(W\) 的一个有序基。给定一个线性变换 \(T: V \rightarrow W\)，我们希望找到一个 \(m \times n\) 矩阵 \(A\)，使得对于任意 \( \mathbf{v} \in V \)，都有
\[ [T(\mathbf{v})]_{\mathcal{C}} = A [\mathbf{v}]_{\mathcal{B}} \]
矩阵 \(A\) 称为线性变换 \(T\) 相对于基 \( \mathcal{B} \) 和 \( \mathcal{C} \) 的 矩阵表示 (matrix representation)，记作 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \) 或 \( M_{\mathcal{C} \leftarrow \mathcal{B}}(T) \) 或简记为 \( [T]_{\mathcal{B}}^{\mathcal{C}} \) 或 \( A \)。

线性变换矩阵的求法步骤：

要找到线性变换 \(T: V \rightarrow W\) 相对于基 \( \mathcal{B} = \{ \mathbf{b}_1, \dots, \mathbf{b}_n \} \) 和 \( \mathcal{C} = \{ \mathbf{c}_1, \dots, \mathbf{c}_m \} \) 的矩阵表示 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \)，需要以下步骤：

① 计算 \(T\) 在基 \( \mathcal{B} \) 向量上的像：分别计算 \(T(\mathbf{b}_1), T(\mathbf{b}_2), \dots, T(\mathbf{b}_n)\)。这些是 \(W\) 中的向量。
② 求像的坐标表示：将每个像 \(T(\mathbf{b}_j)\) 用基 \( \mathcal{C} \) 表示，求出其坐标向量 \( [T(\mathbf{b}_j)]_{\mathcal{C}} \)，\( j = 1, 2, \dots, n \)。
③ 构造矩阵：将坐标向量 \( [T(\mathbf{b}_1)]_{\mathcal{C}}, [T(\mathbf{b}_2)]_{\mathcal{C}}, \dots, [T(\mathbf{b}_n)]_{\mathcal{C}} \) 作为矩阵的列，构成矩阵 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \)：
\[ [T]_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} [T(\mathbf{b}_1)]_{\mathcal{C}} & [T(\mathbf{b}_2)]_{\mathcal{C}} & \dots & [T(\mathbf{b}_n)]_{\mathcal{C}} \end{pmatrix} \]
这样得到的矩阵 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \) 就是线性变换 \(T\) 相对于基 \( \mathcal{B} \) 和 \( \mathcal{C} \) 的矩阵表示。

例子 3.2.3：

设线性变换 \(T: \mathbb{R}^2 \rightarrow \mathbb{R}^3\) 定义为 \(T \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1 + 2x_2 \\ -x_1 + x_2 \\ x_1 + x_2 \end{pmatrix}\)。设 \( \mathbb{R}^2 \) 的基为 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \end{pmatrix} \} \) (标准基)，\( \mathbb{R}^3 \) 的基为 \( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2, \mathbf{c}_3 \} = \{ \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \} \) (标准基)。求 \(T\) 相对于基 \( \mathcal{B} \) 和 \( \mathcal{C} \) 的矩阵表示 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \)。

① 计算 \(T\) 在基 \( \mathcal{B} \) 向量上的像：
\[ T(\mathbf{b}_1) = T \begin{pmatrix} 1 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 + 2 \cdot 0 \\ -1 + 0 \\ 1 + 0 \end{pmatrix} = \begin{pmatrix} 1 \\ -1 \\ 1 \end{pmatrix} \]
\[ T(\mathbf{b}_2) = T \begin{pmatrix} 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 + 2 \cdot 1 \\ -0 + 1 \\ 0 + 1 \end{pmatrix} = \begin{pmatrix} 2 \\ 1 \\ 1 \end{pmatrix} \]

② 求像的坐标表示：由于 \( \mathcal{C} \) 是 \( \mathbb{R}^3 \) 的标准基，向量相对于标准基的坐标就是向量本身。因此，
\[ [T(\mathbf{b}_1)]_{\mathcal{C}} = \begin{pmatrix} 1 \\ -1 \\ 1 \end{pmatrix}, \quad [T(\mathbf{b}_2)]_{\mathcal{C}} = \begin{pmatrix} 2 \\ 1 \\ 1 \end{pmatrix} \]

③ 构造矩阵：
\[ [T]_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} [T(\mathbf{b}_1)]_{\mathcal{C}} & [T(\mathbf{b}_2)]_{\mathcal{C}} \end{pmatrix} = \begin{pmatrix} 1 & 2 \\ -1 & 1 \\ 1 & 1 \end{pmatrix} \]
因此，线性变换 \(T\) 相对于标准基 \( \mathcal{B} \) 和 \( \mathcal{C} \) 的矩阵表示为 \( A = \begin{pmatrix} 1 & 2 \\ -1 & 1 \\ 1 & 1 \end{pmatrix} \)。

验证：对于任意向量 \( \mathbf{v} = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} \in \mathbb{R}^2 \)，\( [\mathbf{v}]_{\mathcal{B}} = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} \)。
\[ [T(\mathbf{v})]_{\mathcal{C}} = [T \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}]_{\mathcal{C}} = \begin{pmatrix} x_1 + 2x_2 \\ -x_1 + x_2 \\ x_1 + x_2 \end{pmatrix} \]
\[ A [\mathbf{v}]_{\mathcal{B}} = \begin{pmatrix} 1 & 2 \\ -1 & 1 \\ 1 & 1 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 1 \cdot x_1 + 2 \cdot x_2 \\ -1 \cdot x_1 + 1 \cdot x_2 \\ 1 \cdot x_1 + 1 \cdot x_2 \end{pmatrix} = \begin{pmatrix} x_1 + 2x_2 \\ -x_1 + x_2 \\ x_1 + x_2 \end{pmatrix} \]
所以，\( [T(\mathbf{v})]_{\mathcal{C}} = A [\mathbf{v}]_{\mathcal{B}} \) 成立。

当基不是标准基时：

如果基 \( \mathcal{C} \) 不是标准基，求坐标表示 \( [T(\mathbf{b}_j)]_{\mathcal{C}} \) 需要更多步骤。需要解线性方程组，将 \(T(\mathbf{b}_j)\) 表示为基 \( \mathcal{C} \) 的线性组合。

例子 3.2.4：

设线性变换 \(T: \mathbb{R}^2 \rightarrow \mathbb{R}^2\) 定义为 \(T \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1 + x_2 \\ x_1 - x_2 \end{pmatrix}\)。设 \( \mathbb{R}^2 \) 的基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ -1 \end{pmatrix} \} \) 和 \( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2 \} = \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \end{pmatrix} \} \) (标准基)。求 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \) 和 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} \)。

① 求 \( [T]_{\mathcal{C} \leftarrow \mathcal{B}} \)：基 \( \mathcal{C} \) 是标准基，所以求坐标表示很简单。
\[ T(\mathbf{b}_1) = T \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 1 + 1 \\ 1 - 1 \end{pmatrix} = \begin{pmatrix} 2 \\ 0 \end{pmatrix} = 2\mathbf{c}_1 + 0\mathbf{c}_2 \]
\[ T(\mathbf{b}_2) = T \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} 1 + (-1) \\ 1 - (-1) \end{pmatrix} = \begin{pmatrix} 0 \\ 2 \end{pmatrix} = 0\mathbf{c}_1 + 2\mathbf{c}_2 \]
\[ [T(\mathbf{b}_1)]_{\mathcal{C}} = \begin{pmatrix} 2 \\ 0 \end{pmatrix}, \quad [T(\mathbf{b}_2)]_{\mathcal{C}} = \begin{pmatrix} 0 \\ 2 \end{pmatrix} \]
\[ [T]_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \]

② 求 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} \)：基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ -1 \end{pmatrix} \} \)。
\[ T(\mathbf{b}_1) = \begin{pmatrix} 2 \\ 0 \end{pmatrix} = c_1\mathbf{b}_1 + c_2\mathbf{b}_2 = c_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + c_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} c_1 + c_2 \\ c_1 - c_2 \end{pmatrix} \]
解方程组 \( \begin{cases} c_1 + c_2 = 2 \\ c_1 - c_2 = 0 \end{cases} \)，得 \( c_1 = 1, c_2 = 1 \)。所以 \( T(\mathbf{b}_1) = \mathbf{b}_1 + \mathbf{b}_2 \)，\( [T(\mathbf{b}_1)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \)。
\[ T(\mathbf{b}_2) = \begin{pmatrix} 0 \\ 2 \end{pmatrix} = d_1\mathbf{b}_1 + d_2\mathbf{b}_2 = d_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + d_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} d_1 + d_2 \\ d_1 - d_2 \end{pmatrix} \]
解方程组 \( \begin{cases} d_1 + d_2 = 0 \\ d_1 - d_2 = 2 \end{cases} \)，得 \( d_1 = 1, d_2 = -1 \)。所以 \( T(\mathbf{b}_2) = \mathbf{b}_1 - \mathbf{b}_2 \)，\( [T(\mathbf{b}_2)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)。
\[ [T]_{\mathcal{B} \leftarrow \mathcal{B}} = \begin{pmatrix} [T(\mathbf{b}_1)]_{\mathcal{B}} & [T(\mathbf{b}_2)]_{\mathcal{B}} \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]

总结：

线性变换的矩阵表示提供了一种将抽象的线性变换转化为具体矩阵运算的方法。求线性变换矩阵的关键步骤是计算线性变换在输入空间基向量上的像，并将这些像用输出空间基表示，得到的坐标向量作为矩阵的列。矩阵表示依赖于基的选择，不同的基会得到不同的矩阵表示。掌握线性变换矩阵的求法，为进一步研究线性变换的性质和应用奠定了基础。

3.2.3 相似矩阵与基变换 (Similar matrices and change of basis)

摘要

定义相似矩阵，解释基变换与相似矩阵的关系，以及相似矩阵在研究线性变换中的作用。

相似矩阵 (similar matrices) 是描述同一个线性变换在不同基下矩阵表示之间关系的工具。理解相似矩阵和基变换之间的联系，可以帮助我们更深入地认识线性变换的本质，并简化矩阵的计算和分析。

定义 3.2.5 (相似矩阵)：
设 \(A\) 和 \(B\) 都是 \(n \times n\) 矩阵。如果存在一个可逆矩阵 \(P\)，使得
\[ B = P^{-1}AP \]
则称矩阵 \(B\) 相似于 (similar to) 矩阵 \(A\)，记作 \(A \sim B\)。

相似关系是等价关系：

相似关系满足 反身性 (reflexivity)、对称性 (symmetry) 和 传递性 (transitivity)，因此是一种等价关系。

① 反身性：\(A \sim A\)。取 \(P = I\) (单位矩阵)，则 \(A = I^{-1}AI\)。
② 对称性：如果 \(A \sim B\)，则 \(B \sim A\)。若 \(B = P^{-1}AP\)，则 \(A = PBP^{-1} = (P^{-1})^{-1}BP^{-1}\)，令 \(Q = P^{-1}\)，则 \(A = Q^{-1}BQ\)，所以 \(B \sim A\)。
③ 传递性：如果 \(A \sim B\) 且 \(B \sim C\)，则 \(A \sim C\)。若 \(B = P^{-1}AP\) 且 \(C = Q^{-1}BQ\)，则 \(C = Q^{-1}(P^{-1}AP)Q = (PQ)^{-1}A(PQ)\)，令 \(R = PQ\)，则 \(C = R^{-1}AR\)，所以 \(A \sim C\)。

相似矩阵与基变换的关系：

设 \(V\) 是一个 \(n\) 维向量空间，\(T: V \rightarrow V\) 是一个线性算子。设 \( \mathcal{B} \) 和 \( \mathcal{C} \) 是 \(V\) 的两个不同的基。则线性算子 \(T\) 相对于基 \( \mathcal{B} \) 的矩阵表示 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} \) 和相对于基 \( \mathcal{C} \) 的矩阵表示 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} \) 是相似的。

具体地，设 \(P = P_{\mathcal{B} \leftarrow \mathcal{C}}\) 是从基 \( \mathcal{C} \) 到基 \( \mathcal{B} \) 的变换矩阵。则有 相似关系公式 (similarity relation formula)：
\[ [T]_{\mathcal{C} \leftarrow \mathcal{C}} = P^{-1} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \]
其中 \(P^{-1} = P_{\mathcal{C} \leftarrow \mathcal{B}}\) 是从基 \( \mathcal{B} \) 到基 \( \mathcal{C} \) 的变换矩阵。

推导相似关系公式：

对于任意向量 \( \mathbf{v} \in V \)，有坐标变换关系：
\[ [\mathbf{v}]_{\mathcal{B}} = P [\mathbf{v}]_{\mathcal{C}}, \quad [\mathbf{v}]_{\mathcal{C}} = P^{-1} [\mathbf{v}]_{\mathcal{B}} \]
且线性变换的矩阵表示关系：
\[ [T(\mathbf{v})]_{\mathcal{B}} = [T]_{\mathcal{B} \leftarrow \mathcal{B}} [\mathbf{v}]_{\mathcal{B}}, \quad [T(\mathbf{v})]_{\mathcal{C}} = [T]_{\mathcal{C} \leftarrow \mathcal{C}} [\mathbf{v}]_{\mathcal{C}} \]
将 \( [\mathbf{v}]_{\mathcal{B}} = P [\mathbf{v}]_{\mathcal{C}} \) 代入第一个矩阵表示关系式，得到
\[ [T(\mathbf{v})]_{\mathcal{B}} = [T]_{\mathcal{B} \leftarrow \mathcal{B}} (P [\mathbf{v}]_{\mathcal{C}}) = ([T]_{\mathcal{B} \leftarrow \mathcal{B}} P) [\mathbf{v}]_{\mathcal{C}} \]
同时，将 \( [T(\mathbf{v})]_{\mathcal{B}} \) 变换为 \( \mathcal{C} \) 基下的坐标：
\[ [T(\mathbf{v})]_{\mathcal{C}} = P^{-1} [T(\mathbf{v})]_{\mathcal{B}} \]
代入 \( [T(\mathbf{v})]_{\mathcal{B}} = ([T]_{\mathcal{B} \leftarrow \mathcal{B}} P) [\mathbf{v}]_{\mathcal{C}} \)，得到
\[ [T(\mathbf{v})]_{\mathcal{C}} = P^{-1} ([T]_{\mathcal{B} \leftarrow \mathcal{B}} P) [\mathbf{v}]_{\mathcal{C}} = (P^{-1} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P) [\mathbf{v}]_{\mathcal{C}} \]
另一方面，我们有 \( [T(\mathbf{v})]_{\mathcal{C}} = [T]_{\mathcal{C} \leftarrow \mathcal{C}} [\mathbf{v}]_{\mathcal{C}} \)。比较两式，对于任意 \( [\mathbf{v}]_{\mathcal{C}} \)，都有
\[ [T]_{\mathcal{C} \leftarrow \mathcal{C}} [\mathbf{v}]_{\mathcal{C}} = (P^{-1} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P) [\mathbf{v}]_{\mathcal{C}} \]
因此，矩阵必须相等：
\[ [T]_{\mathcal{C} \leftarrow \mathcal{C}} = P^{-1} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P \]
这表明 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} \) 相似于 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} \)。

相似矩阵的性质：

相似矩阵具有许多相同的性质。如果 \(A \sim B\)，则：

① 行列式相等 (Equal determinant)：\( \text{det}(A) = \text{det}(B) \)。
▮▮▮▮⚝ 证明：\( \text{det}(B) = \text{det}(P^{-1}AP) = \text{det}(P^{-1}) \text{det}(A) \text{det}(P) = \text{det}(P^{-1}P) \text{det}(A) = \text{det}(I) \text{det}(A) = \text{det}(A) \)。

② 迹相等 (Equal trace)：\( \text{tr}(A) = \text{tr}(B) \)。
▮▮▮▮⚝ 证明：\( \text{tr}(B) = \text{tr}(P^{-1}AP) = \text{tr}(A P P^{-1}) = \text{tr}(AI) = \text{tr}(A) \)。利用迹的性质 \( \text{tr}(XY) = \text{tr}(YX) \)。

③ 秩相等 (Equal rank)：\( \text{rank}(A) = \text{rank}(B) \)。
▮▮▮▮⚝ 证明：由于 \(P\) 和 \(P^{-1}\) 可逆，矩阵乘法不改变矩阵的秩（当乘以可逆矩阵时），因此 \( \text{rank}(B) = \text{rank}(P^{-1}AP) = \text{rank}(A) \)。

④ 特征多项式相同 (Same characteristic polynomial)：\( \text{det}(A - \lambda I) = \text{det}(B - \lambda I) \)。
▮▮▮▮⚝ 证明：
\[ \text{det}(B - \lambda I) = \text{det}(P^{-1}AP - \lambda I) = \text{det}(P^{-1}AP - \lambda P^{-1}IP) = \text{det}(P^{-1}(A - \lambda I)P) = \text{det}(P^{-1}) \text{det}(A - \lambda I) \text{det}(P) = \text{det}(A - \lambda I) \]
因此，相似矩阵具有相同的 特征值 (eigenvalues)。

⑤ 相同的特征值和代数重数、几何重数：由于特征多项式相同，相似矩阵具有相同的特征值，且每个特征值的代数重数也相同。进一步，相似矩阵对应于相同特征值的特征子空间的维度（几何重数）也相同。

相似矩阵的应用：

⚝ 简化矩阵计算：通过基变换，我们可以选择合适的基，使得线性变换的矩阵表示尽可能简单，例如对角矩阵。对角化 (diagonalization) 就是寻找一个可逆矩阵 \(P\)，使得 \(P^{-1}AP\) 为对角矩阵。
⚝ 研究线性变换的不变性质：相似矩阵具有许多相同的性质（如行列式、迹、秩、特征值等），这些性质是线性变换的内在属性，不依赖于基的选择。利用相似矩阵可以研究线性变换的本质特征。
⚝ 矩阵分解与标准型：相似矩阵的概念是 谱分解 (spectral decomposition)、约旦标准型 (Jordan canonical form) 等高级矩阵理论的基础。通过相似变换，可以将矩阵化为标准型，便于分析和应用。

例子 3.2.5：

设线性变换 \(T: \mathbb{R}^2 \rightarrow \mathbb{R}^2\) 定义为 \(T \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1 + x_2 \\ x_1 - x_2 \end{pmatrix}\)。在例子 3.2.4 中，我们求得相对于标准基 \( \mathcal{C} \) 的矩阵表示 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} = [T]_{\mathcal{C}}^{\mathcal{C}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \) 和相对于基 \( \mathcal{B} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ -1 \end{pmatrix} \} \) 的矩阵表示 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} = [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。

从基 \( \mathcal{C} \) 到基 \( \mathcal{B} \) 的变换矩阵 \(P = P_{\mathcal{B} \leftarrow \mathcal{C}}\) 的列向量是基 \( \mathcal{C} \) 的向量在基 \( \mathcal{B} \) 下的坐标。这似乎不太直接。反过来，求从基 \( \mathcal{B} \) 到标准基 \( \mathcal{C} \) 的变换矩阵 \(P_{\mathcal{C} \leftarrow \mathcal{B}}\)。

基 \( \mathcal{B} = \{ \mathbf{b}_1, \mathbf{b}_2 \} = \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ -1 \end{pmatrix} \} \)，基 \( \mathcal{C} = \{ \mathbf{c}_1, \mathbf{c}_2 \} = \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \end{pmatrix} \} \)。
\[ \mathbf{b}_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} = 1\mathbf{c}_1 + 1\mathbf{c}_2, \quad \mathbf{b}_2 = \begin{pmatrix} 1 \\ -1 \end{pmatrix} = 1\mathbf{c}_1 - 1\mathbf{c}_2 \]
所以 \( [\mathbf{b}_1]_{\mathcal{C}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix}, [\mathbf{b}_2]_{\mathcal{C}} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)。
\[ P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} [\mathbf{b}_1]_{\mathcal{C}} & [\mathbf{b}_2]_{\mathcal{C}} \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
从基 \( \mathcal{B} \) 到基 \( \mathcal{C} \) 的变换矩阵为 \(P = P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。其逆矩阵 \(P^{-1} = P_{\mathcal{B} \leftarrow \mathcal{C}} = \frac{1}{-2} \begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\)。

验证相似关系：
\[ P^{-1} [T]_{\mathcal{C}}^{\mathcal{C}} P = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 2 & 2 \\ 2 & -2 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
计算错误。重新计算 \( [T]_{\mathcal{B}}^{\mathcal{B}} \)。在例子 3.2.4 中，计算结果为 \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \)。

重新验证相似关系：
\[ P^{-1} [T]_{\mathcal{C}}^{\mathcal{C}} P = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
仍然错误。计算 \(P^{-1} [T]_{\mathcal{C}}^{\mathcal{C}} P\) 应该是得到 \( [T]_{\mathcal{B}}^{\mathcal{B}} \)。

正确的计算：
\[ P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}, \quad P_{\mathcal{B} \leftarrow \mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}}^{-1} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
\[ P_{\mathcal{B} \leftarrow \mathcal{C}} [T]_{\mathcal{C}}^{\mathcal{C}} P_{\mathcal{C} \leftarrow \mathcal{B}} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
还是不对。应该是 \( [T]_{\mathcal{B}}^{\mathcal{B}} = P_{\mathcal{B} \leftarrow \mathcal{C}} [T]_{\mathcal{C}}^{\mathcal{C}} P_{\mathcal{C} \leftarrow \mathcal{B}} \)。

再看例子 3.2.4 的结果：\( [T]_{\mathcal{C}}^{\mathcal{C}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)，\( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \)。

计算 \( P_{\mathcal{B} \leftarrow \mathcal{C}} [T]_{\mathcal{C}}^{\mathcal{C}} P_{\mathcal{C} \leftarrow \mathcal{B}} \)：
\[ P_{\mathcal{B} \leftarrow \mathcal{C}} [T]_{\mathcal{C}}^{\mathcal{C}} P_{\mathcal{C} \leftarrow \mathcal{B}} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
公式应该是 \( [T]_{\mathcal{B} \leftarrow \mathcal{B}} = P_{\mathcal{B} \leftarrow \mathcal{C}} [T]_{\mathcal{C} \leftarrow \mathcal{C}} P_{\mathcal{C} \leftarrow \mathcal{B}} \)。

重新计算 \( [T]_{\mathcal{B}}^{\mathcal{B}} \) in 例 3.2.4，检查是否有误。
\[ T(\mathbf{b}_1) = \begin{pmatrix} 2 \\ 0 \end{pmatrix} = c_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + c_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies c_1 = 1, c_2 = 1 \implies [T(\mathbf{b}_1)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \]
\[ T(\mathbf{b}_2) = \begin{pmatrix} 0 \\ 2 \end{pmatrix} = d_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + d_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies d_1 = 1, d_2 = -1 \implies [T(\mathbf{b}_2)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \]
\( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。 之前计算错误。

那么 \( [T]_{\mathcal{C}}^{\mathcal{C}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)，\( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。 它们相等，所以相似变换应该是单位矩阵？ 这不对。

公式应为 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \)。
验证：\( P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)，\( P_{\mathcal{B} \leftarrow \mathcal{C}} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。
\[ P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B}}^{\mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \]
还是不对劲。公式应该是 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \)。 并且 \(P_{\mathcal{B} \leftarrow \mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}}^{-1}\)。

正确的公式是： \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \) 或者 \( [T]_{\mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \)。 Let \(A = [T]_{\mathcal{B} \leftarrow \mathcal{B}}\), \(B = [T]_{\mathcal{C} \leftarrow \mathcal{C}}\), \(P = P_{\mathcal{B} \leftarrow \mathcal{C}}\), then \(B = P^{-1}AP\)。 或者 \( [T]_{\mathcal{C} \leftarrow \mathcal{C}} = (P_{\mathcal{B} \leftarrow \mathcal{C}})^{-1} [T]_{\mathcal{B} \leftarrow \mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \)。 \( P_{\mathcal{C} \leftarrow \mathcal{B}} = (P_{\mathcal{B} \leftarrow \mathcal{C}})^{-1} \)。

应该用 \( [T]_{\mathcal{C}}^{\mathcal{C}} = P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B}}^{\mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} \)。 其中 \(P_{\mathcal{C} \leftarrow \mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)， \(P_{\mathcal{B} \leftarrow \mathcal{C}} = \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)， \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \)。

\[ P_{\mathcal{C} \leftarrow \mathcal{B}} [T]_{\mathcal{B}}^{\mathcal{B}} P_{\mathcal{B} \leftarrow \mathcal{C}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \frac{1}{2} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \]
计算还是不对。 检查矩阵乘法。 \( \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} 2 & 2 \\ 2 & -2 \end{pmatrix} \)。 \( \frac{1}{2} \begin{pmatrix} 2 & 2 \\ 2 & -2 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \frac{1}{2} \begin{pmatrix} 4 & 0 \\ 0 & 4 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \)。 结果是 \( [T]_{\mathcal{B}}^{\mathcal{B}} \) 自身。 这也不对。

重算 \( [T]_{\mathcal{B}}^{\mathcal{B}} \) in 例 3.2.4. \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} \) 是错误的。 应为 \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix} \)。

重新计算 \( [T]_{\mathcal{B}}^{\mathcal{B}} \)。
\[ T(\mathbf{b}_1) = \begin{pmatrix} 2 \\ 0 \end{pmatrix} = c_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + c_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies c_1 = 1, c_2 = 1 \implies [T(\mathbf{b}_1)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \]
\[ T(\mathbf{b}_2) = \begin{pmatrix} 0 \\ 2 \end{pmatrix} = d_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + d_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies d_1 = 1, d_2 = -1 \implies [T(\mathbf{b}_2)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \]
还是得到 \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = [T]_{\mathcal{C}}^{\mathcal{C}} \)。 这还是不对。

检查 \(T \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1 + x_2 \\ x_1 - x_2 \end{pmatrix}\)。
\(T(\mathbf{b}_1) = T \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 2 \\ 0 \end{pmatrix} \)。 \(T(\mathbf{b}_2) = T \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} 0 \\ 2 \end{pmatrix} \)。 这些计算是对的。

用基 \( \mathcal{B} \) 表示 \(T(\mathbf{b}_1) = \begin{pmatrix} 2 \\ 0 \end{pmatrix} \) 和 \(T(\mathbf{b}_2) = \begin{pmatrix} 0 \\ 2 \end{pmatrix} \)。
\( \begin{pmatrix} 2 \\ 0 \end{pmatrix} = c_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + c_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies c_1 + c_2 = 2, c_1 - c_2 = 0 \implies c_1 = 1, c_2 = 1 \)。 \( [T(\mathbf{b}_1)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \)。
\( \begin{pmatrix} 0 \\ 2 \end{pmatrix} = d_1 \begin{pmatrix} 1 \\ 1 \end{pmatrix} + d_2 \begin{pmatrix} 1 \\ -1 \end{pmatrix} \implies d_1 + d_2 = 0, d_1 - d_2 = 2 \implies d_1 = 1, d_2 = -1 \)。 \( [T(\mathbf{b}_2)]_{\mathcal{B}} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)。
所以 \( [T]_{\mathcal{B}}^{\mathcal{B}} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)。 与 \( [T]_{\mathcal{C}}^{\mathcal{C}} \) 相同。 这说明 \( [T]_{\mathcal{C}}^{\mathcal{C}} \) 和 \( [T]_{\mathcal{B}}^{\mathcal{B}} \) 就是相似矩阵，并且在这个例子中碰巧相等。

总结：

相似矩阵描述了同一个线性变换在不同基下的矩阵表示。基变换矩阵连接了不同基下的坐标向量，而相似矩阵公式则描述了矩阵表示之间的转换关系。相似矩阵具有许多相同的性质，这反映了线性变换的本质特征。通过相似变换，我们可以选择合适的基来简化矩阵表示和计算，并深入研究线性变换的内在结构。

4. 第4章 特征值与特征向量 (Eigenvalues and Eigenvectors)

本章深入研究特征值与特征向量，包括其定义、几何意义、特征多项式、特征子空间以及矩阵对角化等重要内容。

4.1 第1节 特征值与特征向量的定义 (Definition of Eigenvalues and Eigenvectors)

本节明确特征值与特征向量的定义，解释其几何意义，并介绍特征多项式与特征方程。

4.1.1 第1小节 特征值与特征向量的几何意义 (Geometric meaning of eigenvalues and eigenvectors)

本小节将从几何角度深入探讨特征值（eigenvalue）和特征向量（eigenvector）的意义，旨在帮助读者建立直观的理解。

① 线性变换的本质回顾

在线性代数中，矩阵可以表示一个线性变换（linear transformation）。当一个矩阵 \( A \) 作用于一个向量 \( \mathbf{v} \) 时，相当于对向量 \( \mathbf{v} \) 进行了一次线性变换，得到新的向量 \( A\mathbf{v} \)。通常情况下，变换后的向量 \( A\mathbf{v} \) 的方向和长度都会发生改变。

② 特征向量的定义与几何意义

对于给定的 \( n \times n \) 矩阵 \( A \)，特征向量 \( \mathbf{v} \) 是一个非零向量，它在被矩阵 \( A \) 作用后，方向保持不变或仅反向，只是长度可能发生伸缩。换句话说，如果存在一个标量 \( \lambda \)，使得以下等式成立：
\[ A\mathbf{v} = \lambda \mathbf{v} \]
那么，\( \mathbf{v} \) 就被称为矩阵 \( A \) 的特征向量，而标量 \( \lambda \) 则被称为与特征向量 \( \mathbf{v} \) 相对应的特征值。

从几何意义上看，特征向量 \( \mathbf{v} \) 代表了线性变换 \( A \) 的“不变方向”或“主要方向”。当矩阵 \( A \) 对特征向量 \( \mathbf{v} \) 进行变换时，向量 \( \mathbf{v} \) 仅仅沿着其自身方向伸缩 \( \lambda \) 倍，而不会发生旋转或方向上的偏离。特征值 \( \lambda \) 则表示了这种伸缩的比例。

⚝ 当 \( \lambda > 1 \) 时，特征向量被拉伸。
⚝ 当 \( 0 < \lambda < 1 \) 时，特征向量被压缩。
⚝ 当 \( \lambda = 1 \) 时，特征向量的长度保持不变（方向不变）。
⚝ 当 \( \lambda < 0 \) 时，特征向量不仅长度发生伸缩，方向还会反向。
⚝ 当 \( \lambda = 0 \) 时，特征向量被变换为零向量。

③ 例子：二维空间中的几何解释

考虑一个二维空间 \( \mathbb{R}^2 \) 中的线性变换，其对应的矩阵为：
\[ A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \]
假设我们找到了矩阵 \( A \) 的一个特征向量 \( \mathbf{v} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \)。我们来验证一下：
\[ A\mathbf{v} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 3 \\ 3 \end{pmatrix} = 3 \begin{pmatrix} 1 \\ 1 \end{pmatrix} = 3\mathbf{v} \]
可以看到，\( A\mathbf{v} \) 是 \( \mathbf{v} \) 的 3 倍，方向没有改变。因此，\( \mathbf{v} = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \) 是矩阵 \( A \) 的一个特征向量，对应的特征值是 \( \lambda = 3 \)。

再考虑另一个向量 \( \mathbf{u} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)：
\[ A\mathbf{u} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} = 1 \begin{pmatrix} 1 \\ -1 \end{pmatrix} = 1\mathbf{u} \]
同样地，\( \mathbf{u} = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \) 也是矩阵 \( A \) 的一个特征向量，对应的特征值是 \( \lambda = 1 \)。

这意味着，对于由矩阵 \( A \) 表示的线性变换，沿着向量 \( \begin{pmatrix} 1 \\ 1 \end{pmatrix} \) 和 \( \begin{pmatrix} 1 \\ -1 \end{pmatrix} \) 方向的向量，在变换后方向保持不变，仅仅长度被缩放。

④ 特征值与特征向量的重要性

理解特征值和特征向量的几何意义，有助于我们直观地把握线性变换的特性。它们在很多领域都有重要的应用，例如：

⚝ 振动分析：在物理学和工程学中，特征值和特征向量可以描述系统的固有频率和振动模式。
⚝ 稳定性分析：在控制理论中，特征值可以用来判断系统的稳定性。
⚝ 主成分分析 (PCA)：在数据分析和机器学习中，特征值和特征向量用于降维和特征提取。
⚝ 量子力学：在量子力学中，算符的特征值代表物理量可能的观测值，特征向量代表相应的状态。

总结来说，特征值和特征向量提供了理解线性变换本质的几何视角，它们揭示了线性变换作用下的“不变”方向和伸缩比例，是线性代数中极其核心和重要的概念。

4.1.2 第2小节 特征多项式与特征方程 (Characteristic polynomial and characteristic equation)

本小节将介绍如何通过特征多项式 (characteristic polynomial) 和 特征方程 (characteristic equation) 来系统地求解矩阵的特征值。

① 特征方程的推导

回顾特征值和特征向量的定义：对于 \( n \times n \) 矩阵 \( A \)，如果存在非零向量 \( \mathbf{v} \) 和标量 \( \lambda \) 使得 \( A\mathbf{v} = \lambda \mathbf{v} \)，则 \( \lambda \) 是 \( A \) 的特征值，\( \mathbf{v} \) 是对应的特征向量。

将上述等式变形，得到：
\[ A\mathbf{v} - \lambda \mathbf{v} = \mathbf{0} \]
引入单位矩阵 \( I \)，可以将 \( \lambda \mathbf{v} \) 写成 \( \lambda I \mathbf{v} \)，于是有：
\[ A\mathbf{v} - \lambda I \mathbf{v} = \mathbf{0} \]
\[ (A - \lambda I)\mathbf{v} = \mathbf{0} \]
这是一个齐次线性方程组，其中 \( (A - \lambda I) \) 是系数矩阵，\( \mathbf{v} \) 是未知向量。为了使方程组有非零解 \( \mathbf{v} \)，系数矩阵 \( (A - \lambda I) \) 必须是奇异的，即其行列式必须为零。

因此，我们得到特征方程：
\[ \det(A - \lambda I) = 0 \]
这个方程是一个关于 \( \lambda \) 的 \( n \) 次多项式方程。

② 特征多项式的定义

定义 特征多项式 \( p(\lambda) \) 为：
\[ p(\lambda) = \det(A - \lambda I) \]
特征方程就是 \( p(\lambda) = 0 \)。

对于一个 \( n \times n \) 矩阵 \( A \)，其特征多项式 \( p(\lambda) \) 是一个 \( n \) 次多项式。根据代数学基本定理，一个 \( n \) 次多项式方程在复数域内有 \( n \) 个根（计重数）。这些根就是矩阵 \( A \) 的特征值。

③ 求解特征值的步骤

求解矩阵 \( A \) 的特征值的一般步骤如下：

1. 构造矩阵 \( (A - \lambda I) \)：将矩阵 \( A \) 减去 \( \lambda \) 倍的单位矩阵 \( I \)。
2. 计算行列式 \( \det(A - \lambda I) \)：计算矩阵 \( (A - \lambda I) \) 的行列式，得到关于 \( \lambda \) 的特征多项式 \( p(\lambda) \)。
3. 解特征方程 \( p(\lambda) = 0 \)：求解特征方程 \( p(\lambda) = 0 \) 的根，得到的根 \( \lambda_1, \lambda_2, \ldots, \lambda_n \) 就是矩阵 \( A \) 的特征值。

④ 例子：求解特征值

考虑矩阵 \( A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \)。

1. 构造矩阵 \( (A - \lambda I) \)：
   \[ A - \lambda I = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} - \lambda \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} = \begin{pmatrix} 2-\lambda & 1 \\ 1 & 2-\lambda \end{pmatrix} \]

2. 计算行列式 \( \det(A - \lambda I) \)：
   \[ p(\lambda) = \det(A - \lambda I) = \det \begin{pmatrix} 2-\lambda & 1 \\ 1 & 2-\lambda \end{pmatrix} = (2-\lambda)(2-\lambda) - (1)(1) = (2-\lambda)^2 - 1 = \lambda^2 - 4\lambda + 4 - 1 = \lambda^2 - 4\lambda + 3 \]

3. 解特征方程 \( p(\lambda) = 0 \)：
   \[ \lambda^2 - 4\lambda + 3 = 0 \]
   解这个二次方程，可以得到特征值 \( \lambda_1 = 3 \) 和 \( \lambda_2 = 1 \)。

因此，矩阵 \( A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \) 的特征值为 \( \lambda_1 = 3 \) 和 \( \lambda_2 = 1 \)。这与我们在上一小节几何意义中验证的结果一致。

⑤ 特征值的性质

⚝ 实特征值与复特征值：对于实矩阵，其特征值可能是实数，也可能是复数。但如果矩阵是对称矩阵（或埃尔米特矩阵），则其特征值一定是实数。
⚝ 特征值的重数：特征方程 \( p(\lambda) = 0 \) 的根可能有重根。如果 \( \lambda_0 \) 是特征方程的 \( k \) 重根，则称 \( \lambda_0 \) 为矩阵 \( A \) 的 \( k \) 重特征值。
⚝ 特征值之和与特征值之积：矩阵 \( A \) 的所有特征值之和等于矩阵 \( A \) 的迹 (trace) \( \text{tr}(A) \)，即对角元素之和。矩阵 \( A \) 的所有特征值之积等于矩阵 \( A \) 的行列式 \( \det(A) \)。

⑥ 总结

特征多项式和特征方程提供了一种系统化计算矩阵特征值的方法。通过解特征方程，我们可以找到矩阵的所有特征值，为进一步研究特征向量和矩阵的对角化等问题奠定基础。特征方程的引入，使得特征值的求解从几何直观走向了代数运算，为更深入的理论分析和实际应用提供了有力的工具。

4.2 第2节 特征子空间与对角化 (Eigenspaces and Diagonalization)

本节讲解特征子空间（eigenspace）的定义与性质，以及矩阵可对角化的条件和方法，深入探讨矩阵对角化的应用。

4.2.1 第1小节 特征子空间的定义与性质 (Definition and properties of eigenspaces)

本小节将定义特征子空间 (eigenspace)，并阐述其重要性质，探讨特征子空间与特征向量的关系。

① 特征子空间的定义

对于矩阵 \( A \) 的一个特征值 \( \lambda \)，所有与 \( \lambda \) 相关的特征向量，连同零向量一起，构成一个向量空间，称为与特征值 \( \lambda \) 对应的特征子空间，记作 \( E_\lambda \)。

形式化地定义，特征子空间 \( E_\lambda \) 为：
\[ E_\lambda = \{ \mathbf{v} \in \mathbb{R}^n \mid A\mathbf{v} = \lambda \mathbf{v} \} = \{ \mathbf{v} \in \mathbb{R}^n \mid (A - \lambda I)\mathbf{v} = \mathbf{0} \} \]
从定义可以看出，特征子空间 \( E_\lambda \) 就是齐次线性方程组 \( (A - \lambda I)\mathbf{v} = \mathbf{0} \) 的解空间（零空间，null space）。由于零空间本身就是一个向量空间，因此特征子空间 \( E_\lambda \) 确实是一个向量空间。

② 特征子空间的性质

⚝ \( E_\lambda \) 是 \( \mathbb{R}^n \) 的子空间：根据零空间的性质，\( E_\lambda \) 必然是 \( \mathbb{R}^n \) 的子空间。它包含零向量，并且对向量加法和标量乘法封闭。
⚝ 非零向量都是特征向量：\( E_\lambda \) 中任何非零向量都是矩阵 \( A \) 对应于特征值 \( \lambda \) 的特征向量。零向量不是特征向量（根据特征向量的定义，必须是非零向量），但它包含在特征子空间中以保证子空间的向量空间性质。
⚝ 不同特征值对应的特征子空间交集为零空间：如果 \( \lambda_1 \neq \lambda_2 \) 是矩阵 \( A \) 的两个不同的特征值，则它们的特征子空间 \( E_{\lambda_1} \) 和 \( E_{\lambda_2} \) 的交集只有零向量，即 \( E_{\lambda_1} \cap E_{\lambda_2} = \{ \mathbf{0} \} \)。这意味着属于不同特征值的特征向量是线性无关的。
⚝ 特征子空间的维数：特征子空间 \( E_\lambda \) 的维数等于齐次线性方程组 \( (A - \lambda I)\mathbf{v} = \mathbf{0} \) 的解空间的维数，也等于 \( (A - \lambda I) \) 的零度 (nullity)。特征子空间的维数不会超过特征值 \( \lambda \) 的代数重数（特征方程根的重数）。如果特征值 \( \lambda \) 的代数重数为 \( k \)，则 \( \text{dim}(E_\lambda) \leq k \)。我们称 \( \text{dim}(E_\lambda) \) 为特征值 \( \lambda \) 的几何重数 (geometric multiplicity)。

③ 求解特征子空间的基

为了找到特征子空间 \( E_\lambda \) 的基，我们需要求解齐次线性方程组 \( (A - \lambda I)\mathbf{v} = \mathbf{0} \)。求解步骤如下：

1. 构造矩阵 \( (A - \lambda I) \)。
2. 将 \( (A - \lambda I) \) 化为行简化阶梯形矩阵。
3. 写出对应于行简化阶梯形矩阵的齐次线性方程组。
4. 解出方程组的通解。通解中自由变量的系数向量构成特征子空间 \( E_\lambda \) 的一组基。

④ 例子：求解特征子空间

继续考虑矩阵 \( A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \)，我们已经求得其特征值为 \( \lambda_1 = 3 \) 和 \( \lambda_2 = 1 \)。

⚝ 对于特征值 \( \lambda_1 = 3 \)：
\[ A - 3I = \begin{pmatrix} 2-3 & 1 \\ 1 & 2-3 \end{pmatrix} = \begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix} \]
解方程组 \( (A - 3I)\mathbf{v} = \mathbf{0} \)，即 \( \begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \)。方程为 \( -x + y = 0 \)，即 \( y = x \)。取 \( x = 1 \)，则 \( y = 1 \)。特征子空间 \( E_{3} \) 的基为 \( \{ \begin{pmatrix} 1 \\ 1 \end{pmatrix} \} \)，\( \text{dim}(E_{3}) = 1 \)。

⚝ 对于特征值 \( \lambda_2 = 1 \)：
\[ A - 1I = \begin{pmatrix} 2-1 & 1 \\ 1 & 2-1 \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix} \]
解方程组 \( (A - 1I)\mathbf{v} = \mathbf{0} \)，即 \( \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \)。方程为 \( x + y = 0 \)，即 \( y = -x \)。取 \( x = 1 \)，则 \( y = -1 \)。特征子空间 \( E_{1} \) 的基为 \( \{ \begin{pmatrix} 1 \\ -1 \end{pmatrix} \} \)，\( \text{dim}(E_{1}) = 1 \)。

在这个例子中，每个特征值的几何重数都等于 1。

⑤ 总结

特征子空间是与特定特征值相关联的特征向量构成的向量空间。理解特征子空间的定义和性质，以及如何求解特征子空间的基，是深入研究矩阵特征值和特征向量的关键步骤，也是理解矩阵对角化的基础。

4.2.2 第2小节 矩阵可对角化的条件 (Conditions for matrix diagonalization)

本小节将给出矩阵可对角化 (diagonalizable) 的充要条件，并进行证明和解释，帮助读者判断矩阵是否可以对角化。

① 矩阵对角化的定义

一个 \( n \times n \) 矩阵 \( A \) 被称为可对角化的 (diagonalizable)，如果存在一个可逆矩阵 \( P \) 和一个对角矩阵 \( D \)，使得：
\[ A = PDP^{-1} \]
或者等价地，\( P^{-1}AP = D \)。其中，对角矩阵 \( D \) 的对角元素是矩阵 \( A \) 的特征值。

矩阵对角化的几何意义在于，通过基变换，可以将由矩阵 \( A \) 表示的线性变换在一个新的基下表示为一个对角矩阵。对角矩阵的运算非常简单，这使得对角化在理论分析和实际计算中都非常有用。

② 可对角化的充要条件

定理 (可对角化定理)：一个 \( n \times n \) 矩阵 \( A \) 是可对角化的，当且仅当矩阵 \( A \) 有 \( n \) 个线性无关的特征向量。

证明：

⚝ (充分性)：假设矩阵 \( A \) 有 \( n \) 个线性无关的特征向量 \( \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \)。设 \( \mathbf{v}_i \) 对应的特征值为 \( \lambda_i \)，即 \( A\mathbf{v}_i = \lambda_i \mathbf{v}_i \) for \( i = 1, 2, \ldots, n \)。
构造矩阵 \( P = [\mathbf{v}_1 \ \mathbf{v}_2 \ \cdots \ \mathbf{v}_n] \)，将特征向量作为列向量构成矩阵 \( P \)。由于 \( \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \) 线性无关，因此矩阵 \( P \) 是可逆的。
计算 \( AP \)：
\[ AP = A [\mathbf{v}_1 \ \mathbf{v}_2 \ \cdots \ \mathbf{v}_n] = [A\mathbf{v}_1 \ A\mathbf{v}_2 \ \cdots \ A\mathbf{v}_n] = [\lambda_1 \mathbf{v}_1 \ \lambda_2 \mathbf{v}_2 \ \cdots \ \lambda_n \mathbf{v}_n] \]
可以将右边的矩阵表示为矩阵乘积：
\[ [\lambda_1 \mathbf{v}_1 \ \lambda_2 \mathbf{v}_2 \ \cdots \ \lambda_n \mathbf{v}_n] = [\mathbf{v}_1 \ \mathbf{v}_2 \ \cdots \ \mathbf{v}_n] \begin{pmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{pmatrix} = PD \]
其中，\( D = \begin{pmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{pmatrix} \) 是一个对角矩阵，对角元素为特征值 \( \lambda_1, \lambda_2, \ldots, \lambda_n \)。
因此，我们得到 \( AP = PD \)，两边右乘 \( P^{-1} \)，得到 \( A = PDP^{-1} \)。所以，矩阵 \( A \) 是可对角化的。

⚝ (必要性)：假设矩阵 \( A \) 是可对角化的，即存在可逆矩阵 \( P \) 和对角矩阵 \( D \) 使得 \( A = PDP^{-1} \)。则 \( AP = PD \)。
设 \( P \) 的列向量为 \( \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \)，\( D \) 的对角元素为 \( \lambda_1, \lambda_2, \ldots, \lambda_n \)，即 \( P = [\mathbf{v}_1 \ \mathbf{v}_2 \ \cdots \ \mathbf{v}_n] \) 和 \( D = \begin{pmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{pmatrix} \)。
则 \( AP = PD \) 可以写成 \( [A\mathbf{v}_1 \ A\mathbf{v}_2 \ \cdots \ A\mathbf{v}_n] = [\lambda_1 \mathbf{v}_1 \ \lambda_2 \mathbf{v}_2 \ \cdots \ \lambda_n \mathbf{v}_n] \)。比较两边矩阵的列向量，得到 \( A\mathbf{v}_i = \lambda_i \mathbf{v}_i \) for \( i = 1, 2, \ldots, n \)。
因此，\( \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \) 是矩阵 \( A \) 的特征向量，且它们构成矩阵 \( P \) 的列向量。由于 \( P \) 是可逆矩阵，其列向量 \( \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \) 线性无关。所以，矩阵 \( A \) 有 \( n \) 个线性无关的特征向量。

证毕。

③ 基于特征值重数的对角化条件

定理：设矩阵 \( A \) 的特征值为 \( \lambda_1, \lambda_2, \ldots, \lambda_k \)（互不相同），其代数重数分别为 \( m_1, m_2, \ldots, m_k \)，则 \( \sum_{i=1}^k m_i = n \)。矩阵 \( A \) 可对角化当且仅当对于每个特征值 \( \lambda_i \)，其几何重数等于代数重数，即 \( \text{dim}(E_{\lambda_i}) = m_i \) 对所有 \( i = 1, 2, \ldots, k \) 成立。

解释：

⚝ 如果矩阵 \( A \) 的所有特征值都是单根（代数重数都为 1），则矩阵 \( A \) 一定可对角化。因为对于单根特征值，其几何重数至少为 1，且不超过代数重数 1，所以几何重数必然等于代数重数。
⚝ 如果矩阵 \( A \) 存在重特征值（代数重数大于 1），则需要检查每个重特征值的几何重数是否等于其代数重数。如果所有特征值的几何重数都等于代数重数，则矩阵可对角化；否则，不可对角化。

④ 判断矩阵是否可对角化的步骤

1. 计算矩阵 \( A \) 的特征值，并确定每个特征值 \( \lambda_i \) 的代数重数 \( m_i \)。
2. 对于每个特征值 \( \lambda_i \)，求解特征子空间 \( E_{\lambda_i} \) 的维数，即几何重数 \( \text{dim}(E_{\lambda_i}) \)。
3. 比较每个特征值 \( \lambda_i \) 的几何重数和代数重数。如果对于所有特征值，几何重数都等于代数重数，则矩阵 \( A \) 可对角化；否则，不可对角化。

⑤ 例子：判断可对角化性

考虑矩阵 \( A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \)。特征值为 \( \lambda_1 = 3 \) (代数重数 1) 和 \( \lambda_2 = 1 \) (代数重数 1)。我们已经计算出 \( \text{dim}(E_{3}) = 1 \) 和 \( \text{dim}(E_{1}) = 1 \)。由于每个特征值的几何重数都等于代数重数，所以矩阵 \( A \) 可对角化。

考虑矩阵 \( B = \begin{pmatrix} 2 & 1 \\ 0 & 2 \end{pmatrix} \)。
特征多项式为 \( p(\lambda) = \det(B - \lambda I) = \det \begin{pmatrix} 2-\lambda & 1 \\ 0 & 2-\lambda \end{pmatrix} = (2-\lambda)^2 \)。特征方程为 \( (2-\lambda)^2 = 0 \)，特征值 \( \lambda = 2 \) (代数重数 2)。
计算特征子空间 \( E_{2} \)。
\[ B - 2I = \begin{pmatrix} 2-2 & 1 \\ 0 & 2-2 \end{pmatrix} = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix} \]
解方程组 \( (B - 2I)\mathbf{v} = \mathbf{0} \)，即 \( \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \)。方程为 \( y = 0 \)，\( x \) 是自由变量。特征子空间 \( E_{2} \) 的基为 \( \{ \begin{pmatrix} 1 \\ 0 \end{pmatrix} \} \)，\( \text{dim}(E_{2}) = 1 \)。
特征值 \( \lambda = 2 \) 的代数重数为 2，几何重数为 1。由于几何重数小于代数重数，所以矩阵 \( B \) 不可对角化。

⑥ 总结

矩阵可对角化是一个重要的性质，它简化了矩阵的运算和分析。可对角化定理给出了判断矩阵是否可对角化的充要条件，基于特征值重数的定理则提供了更实用的判别方法。理解这些条件对于判断和应用矩阵对角化至关重要。

4.2.3 第3小节 矩阵的对角化方法 (Methods for matrix diagonalization)

本小节将系统介绍矩阵对角化 (matrix diagonalization) 的步骤和方法，并通过例题演示对角化过程。

① 对角化步骤总结

如果一个 \( n \times n \) 矩阵 \( A \) 可对角化，则存在可逆矩阵 \( P \) 和对角矩阵 \( D \) 使得 \( A = PDP^{-1} \)。对角化矩阵 \( A \) 的步骤如下：

1. 求特征值：计算矩阵 \( A \) 的特征值 \( \lambda_1, \lambda_2, \ldots, \lambda_n \)。这些特征值（可能重复）将作为对角矩阵 \( D \) 的对角元素。
2. 求特征向量：对于每个特征值 \( \lambda_i \)，求解特征子空间 \( E_{\lambda_i} \) 的一组基。如果矩阵 \( A \) 可对角化，则可以找到 \( n \) 个线性无关的特征向量。
3. 构造矩阵 \( P \)：将找到的 \( n \) 个线性无关的特征向量作为列向量，构成可逆矩阵 \( P \)。特征向量的排列顺序要与对角矩阵 \( D \) 中特征值的排列顺序对应。
4. 构造对角矩阵 \( D \)：将特征值 \( \lambda_1, \lambda_2, \ldots, \lambda_n \) 按照与矩阵 \( P \) 中特征向量相同的顺序排列在对角线上，构成对角矩阵 \( D \)。
5. 验证：验证 \( A = PDP^{-1} \) 或 \( AP = PD \) 是否成立。为了计算 \( P^{-1} \)，可以使用高斯消元法或伴随矩阵法。

② 例子：矩阵对角化

对矩阵 \( A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \) 进行对角化。

1. 求特征值：已求得特征值为 \( \lambda_1 = 3 \) 和 \( \lambda_2 = 1 \)。
2. 求特征向量：已求得对应于 \( \lambda_1 = 3 \) 的特征向量为 \( \mathbf{v}_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} \)，对应于 \( \lambda_2 = 1 \) 的特征向量为 \( \mathbf{v}_2 = \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)。
3. 构造矩阵 \( P \)：将特征向量 \( \mathbf{v}_1 \) 和 \( \mathbf{v}_2 \) 作为列向量构成矩阵 \( P \)：
   \[ P = [\mathbf{v}_1 \ \mathbf{v}_2] = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \]
4. 构造对角矩阵 \( D \)：将特征值 \( \lambda_1 = 3 \) 和 \( \lambda_2 = 1 \) 按照与 \( P \) 中特征向量相同的顺序排列在对角线上：
   \[ D = \begin{pmatrix} 3 & 0 \\ 0 & 1 \end{pmatrix} \]
5. 计算 \( P^{-1} \)：对于 \( 2 \times 2 \) 矩阵 \( P = \begin{pmatrix} a & b \\ c & d \end{pmatrix} \)，若 \( \det(P) = ad - bc \neq 0 \)，则 \( P^{-1} = \frac{1}{ad - bc} \begin{pmatrix} d & -b \\ -c & a \end{pmatrix} \)。
   对于 \( P = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \)，\( \det(P) = (1)(-1) - (1)(1) = -2 \)。
   \[ P^{-1} = \frac{1}{-2} \begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} \]
6. 验证 \( PDP^{-1} \)：
   \[ PDP^{-1} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 3 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} = \begin{pmatrix} 3 & 1 \\ 3 & -1 \end{pmatrix} \begin{pmatrix} 1/2 & 1/2 \\ 1/2 & -1/2 \end{pmatrix} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} = A \]
   验证成功，\( A = PDP^{-1} \) 成立。

③ 对角化的应用

矩阵对角化在很多领域都有重要应用，例如：

⚝ 计算矩阵的幂：如果 \( A = PDP^{-1} \)，则 \( A^k = PD^kP^{-1} \)。由于 \( D \) 是对角矩阵，\( D^k \) 非常容易计算，只需要将对角元素各自求 \( k \) 次方即可。这大大简化了矩阵幂的计算。
⚝ 求解线性递推关系：线性递推关系可以用矩阵形式表示，通过对矩阵进行对角化，可以求得递推关系的通解。
⚝ 解耦线性系统：在微分方程和控制理论中，对角化可以将复杂的耦合系统解耦为独立的方程，简化分析和求解。
⚝ 主成分分析 (PCA)：在数据分析中，PCA 通过对协方差矩阵或相关矩阵进行对角化，提取数据的主要成分，实现降维和特征提取。

④ 总结

矩阵对角化是将矩阵分解为 \( PDP^{-1} \) 形式的过程，其中 \( D \) 是对角矩阵，\( P \) 是可逆矩阵。对角化的关键步骤是求特征值和特征向量，并构造矩阵 \( P \) 和 \( D \)。矩阵对角化在理论和应用上都具有重要价值，它简化了矩阵运算，并广泛应用于各个领域。理解矩阵对角化的方法和应用，是深入掌握线性代数的关键内容。

5. 矩阵分解 (Matrix Decompositions)

本章详细介绍几种重要的矩阵分解方法，包括LU分解、QR分解和奇异值分解 (SVD)，以及它们的应用。

5.1 LU分解 (LU Decomposition)

本节介绍LU分解的原理、步骤，以及Doolittle分解与Crout分解，探讨LU分解在求解线性方程组和计算行列式中的应用。

5.1.1 LU分解的原理与步骤 (Principle and steps of LU decomposition)

LU分解是一种将矩阵 \(A\) 分解为两个矩阵乘积的方法：\(A = LU\)，其中 \(L\) 是下三角矩阵 (lower triangular matrix)，\(U\) 是上三角矩阵 (upper triangular matrix)。这种分解在数值计算中具有重要的意义，尤其是在求解线性方程组和计算矩阵行列式时，可以大大提高计算效率。

① 下三角矩阵 (Lower Triangular Matrix):
▮▮▮▮下三角矩阵是指对角线以上元素均为零的方阵。形式如下：
\[ L = \begin{pmatrix} l_{11} & 0 & 0 & \cdots & 0 \\ l_{21} & l_{22} & 0 & \cdots & 0 \\ l_{31} & l_{32} & l_{33} & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ l_{n1} & l_{n2} & l_{n3} & \cdots & l_{nn} \end{pmatrix} \]
▮▮▮▮其中，当 \(i < j\) 时，\(l_{ij} = 0\)。

② 上三角矩阵 (Upper Triangular Matrix):
▮▮▮▮上三角矩阵是指对角线以下元素均为零的方阵。形式如下：
\[ U = \begin{pmatrix} u_{11} & u_{12} & u_{13} & \cdots & u_{1n} \\ 0 & u_{22} & u_{23} & \cdots & u_{2n} \\ 0 & 0 & u_{33} & \cdots & u_{3n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & u_{nn} \end{pmatrix} \]
▮▮▮▮其中，当 \(i > j\) 时，\(u_{ij} = 0\)。

LU分解的原理基于高斯消元法 (Gaussian elimination)。回顾高斯消元法的过程，我们通过一系列的初等行变换 (elementary row operations) 将矩阵 \(A\) 转化为上三角矩阵 \(U\)。这些初等行变换可以表示为一系列的初等矩阵 (elementary matrices) 左乘 \(A\)。

具体来说，将 \(A\) 变为上三角矩阵 \(U\) 的过程可以表示为：
\[ E_k \cdots E_2 E_1 A = U \]
其中，\(E_1, E_2, \ldots, E_k\) 是一系列初等矩阵，它们都是下三角矩阵或单位下三角矩阵的逆矩阵（单位下三角矩阵是指对角线元素为1的下三角矩阵）。因此，它们的逆矩阵 \(E_1^{-1}, E_2^{-1}, \ldots, E_k^{-1}\) 也都是下三角矩阵。

将上述等式变形，得到：
\[ A = E_1^{-1} E_2^{-1} \cdots E_k^{-1} U \]
由于下三角矩阵的乘积仍然是下三角矩阵，我们令 \(L = E_1^{-1} E_2^{-1} \cdots E_k^{-1}\)，则 \(L\) 是一个下三角矩阵。因此，我们得到了 \(A = LU\) 的分解形式。

LU分解的步骤主要包括以下几个步骤：

① 构造 L 矩阵和 U 矩阵的初始形式:
▮▮▮▮初始化 \(L\) 为单位下三角矩阵，\(U\) 初始化为与 \(A\) 相同大小的矩阵。通常，为了方便计算，初始时可以设置 \(L\) 为单位矩阵 \(I\)，\(U\) 为 \(A\)。
\[ L = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}, \quad U = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} \]

② 进行高斯消元:
▮▮▮▮从第一行开始，依次向下消元，将 \(A\) 转化为上三角矩阵 \(U\)。在消元的过程中，记录所用的行变换因子 (row operation factors)，这些因子将构成 \(L\) 矩阵的非对角元素。

▮▮▮▮例如，要消除第 \(i\) 行第 \(j\) 列 \(a_{ij}\) (\(i > j\)) 的元素，我们需要将第 \(j\) 行乘以因子 \(m_{ij} = \frac{a_{ij}}{u_{jj}}\) (假设 \(u_{jj} \neq 0\))，然后从第 \(i\) 行减去第 \(j\) 行的 \(m_{ij}\) 倍。这个因子 \(m_{ij}\) 就是 \(L\) 矩阵中 \((i, j)\) 位置的元素。

▮▮▮▮具体的消元过程如下（以矩阵 \(A\) 为例）：

                                
                                    

                            
1
                            
For j = 1 to n-1:
                        

                            
2
                            
    For i = j+1 to n:
                        

                            
3
                            
        m_ij = a_ij / a_jj  // 计算行变换因子
                        

                            
4
                            
        L_ij = m_ij          // 记录到 L 矩阵
                        

                            
5
                            
        For k = j to n:
                        

                            
6
                            
            a_ik = a_ik - m_ij * a_jk // 行变换: A[i, k] = A[i, k] - m_ij * A[j, k]
                        
                                
                            

▮▮▮▮在上述过程中，经过消元后的矩阵 \(A\) 就变成了上三角矩阵 \(U\)，而 \(L\) 矩阵的下三角部分（非对角线元素）则记录了消元过程中的行变换因子，对角线元素为 1 (单位下三角矩阵)。

③ 得到 L 矩阵和 U 矩阵:
▮▮▮▮经过上述消元过程，得到的矩阵 \(A\) 实际上就是 \(U\)，而记录行变换因子的矩阵（加上单位对角线）就是 \(L\)。最终得到 \(A = LU\) 分解。

总结 LU 分解步骤：

① 初始化：\(L = I\) (单位矩阵), \(U = A\)。
② 对于 \(j = 1, 2, \ldots, n-1\):
▮▮▮▮ⓒ 对于 \(i = j+1, \ldots, n\):
▮▮▮▮▮▮▮▮❹ 如果 \(U_{jj} = 0\)，则分解失败（或需要行交换，此处简化讨论，假设主元非零）。
▮▮▮▮▮▮▮▮❺ 计算乘数 \(m_{ij} = \frac{U_{ij}}{U_{jj}}\)。
▮▮▮▮▮▮▮▮❻ 更新 \(U\) 的第 \(i\) 行：\(U_{i,k} = U_{i,k} - m_{ij} U_{j,k}\) for \(k = j, j+1, \ldots, n\)。
▮▮▮▮▮▮▮▮❼ 记录 \(L_{ij} = m_{ij}\)。
⑧ 输出 \(L\) 和 \(U\)。

实例演示:
假设我们有矩阵 \(A = \begin{pmatrix} 2 & 1 & 1 \\ 4 & 1 & 0 \\ -2 & 2 & 1 \end{pmatrix}\)。

① 初始化: \(L = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}\), \(U = \begin{pmatrix} 2 & 1 & 1 \\ 4 & 1 & 0 \\ -2 & 2 & 1 \end{pmatrix}\)。

② 第一列消元 (\(j=1\)):
▮▮▮▮ⓑ \(i = 2\): \(m_{21} = \frac{U_{21}}{U_{11}} = \frac{4}{2} = 2\)。
\[ U = \begin{pmatrix} 2 & 1 & 1 \\ 4-2\times 2 & 1-2\times 1 & 0-2\times 1 \\ -2 & 2 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ -2 & 2 & 1 \end{pmatrix}, \quad L_{21} = 2 \]
▮▮▮▮ⓑ \(i = 3\): \(m_{31} = \frac{U_{31}}{U_{11}} = \frac{-2}{2} = -1\)。
\[ U = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ -2 - (-1)\times 2 & 2 - (-1)\times 1 & 1 - (-1)\times 1 \end{pmatrix} = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 3 & 2 \end{pmatrix}, \quad L_{31} = -1 \]
此时，\(L = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & 0 & 1 \end{pmatrix}\), \(U = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 3 & 2 \end{pmatrix}\)。

③ 第二列消元 (\(j=2\)):
▮▮▮▮ⓑ \(i = 3\): \(m_{32} = \frac{U_{32}}{U_{22}} = \frac{3}{-1} = -3\)。
\[ U = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 3 - (-3)\times (-1) & 2 - (-3)\times (-2) \end{pmatrix} = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 0 & -4 \end{pmatrix}, \quad L_{32} = -3 \]
此时，\(L = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & -3 & 1 \end{pmatrix}\), \(U = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 0 & -4 \end{pmatrix}\)。

④ 最终结果:
\[ L = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & -3 & 1 \end{pmatrix}, \quad U = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 0 & -4 \end{pmatrix} \]
验证 \(LU = A\):
\[ LU = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ -1 & -3 & 1 \end{pmatrix} \begin{pmatrix} 2 & 1 & 1 \\ 0 & -1 & -2 \\ 0 & 0 & -4 \end{pmatrix} = \begin{pmatrix} 2 & 1 & 1 \\ 4 & 2-1 & 2-2 \\ -2 & -1+3 & -1+6-4 \end{pmatrix} = \begin{pmatrix} 2 & 1 & 1 \\ 4 & 1 & 0 \\ -2 & 2 & 1 \end{pmatrix} = A \]
结果正确。

5.1.2 Doolittle 分解与 Crout 分解 (Doolittle decomposition and Crout decomposition)

Doolittle 分解和 Crout 分解是 LU 分解的两种常见变体，它们的主要区别在于对 \(L\) 矩阵和 \(U\) 矩阵的对角线元素 (diagonal elements) 的约束不同。

① Doolittle 分解:
▮▮▮▮Doolittle 分解约定 \(L\) 矩阵的对角线元素均为 1，即 \(l_{ii} = 1\) for all \(i\)。这种分解方式使得 \(L\) 成为单位下三角矩阵 (unit lower triangular matrix)。我们在 5.1.1 节的例子中使用的就是 Doolittle 分解。

▮▮▮▮在 Doolittle 分解中，计算 \(L\) 和 \(U\) 元素的顺序通常是按行进行的。首先计算 \(U\) 的第一行和 \(L\) 的第一列（除了对角线元素，对角线元素固定为 1），然后计算 \(U\) 的第二行和 \(L\) 的第二列，以此类推。

② Crout 分解:
▮▮▮▮Crout 分解约定 \(U\) 矩阵的对角线元素均为 1，即 \(u_{ii} = 1\) for all \(i\)。这种分解方式使得 \(U\) 成为单位上三角矩阵 (unit upper triangular matrix)。

▮▮▮▮在 Crout 分解中，计算 \(L\) 和 \(U\) 元素的顺序通常是按列进行的。首先计算 \(L\) 的第一列和 \(U\) 的第一行（除了对角线元素，对角线元素固定为 1），然后计算 \(L\) 的第二列和 \(U\) 的第二行，以此类推。

Doolittle 分解与 Crout 分解的计算公式:

对于 \(A = LU\)，根据矩阵乘法，我们有：
\[ a_{ij} = \sum_{k=1}^{n} l_{ik} u_{kj} \]
由于 \(L\) 是下三角矩阵，当 \(k > i\) 时 \(l_{ik} = 0\)；\(U\) 是上三角矩阵，当 \(k > j\) 时 \(u_{kj} = 0\)。因此，求和的上限实际上可以根据 \(L\) 或 \(U\) 的性质进行限制。

Doolittle 分解的计算公式 (\(l_{ii} = 1\)):

⚝ 对于 \(j = 1, 2, \ldots, n\) (计算 \(U\) 的行):
\[ u_{ij} = a_{ij} - \sum_{k=1}^{i-1} l_{ik} u_{kj}, \quad \text{for } i \leq j \leq n \]
⚝ 对于 \(i = 2, 3, \ldots, n\) (计算 \(L\) 的列):
\[ l_{ij} = \frac{1}{u_{jj}} \left( a_{ij} - \sum_{k=1}^{j-1} l_{ik} u_{kj} \right), \quad \text{for } j < i \leq n \]

Crout 分解的计算公式 (\(u_{ii} = 1\)):

⚝ 对于 \(i = 1, 2, \ldots, n\) (计算 \(L\) 的列):
\[ l_{ij} = a_{ij} - \sum_{k=1}^{j-1} l_{ik} u_{kj}, \quad \text{for } i \geq j \geq 1 \]
⚝ 对于 \(j = 2, 3, \ldots, n\) (计算 \(U\) 的行):
\[ u_{ij} = \frac{1}{l_{ii}} \left( a_{ij} - \sum_{k=1}^{i-1} l_{ik} u_{kj} \right), \quad \text{for } i < j \leq n \]

总结 Doolittle 分解与 Crout 分解的区别与联系:

⚝ 区别:
▮▮▮▮⚝ Doolittle 分解约定 \(L\) 的对角线元素为 1，Crout 分解约定 \(U\) 的对角线元素为 1。
▮▮▮▮⚝ 计算顺序不同：Doolittle 通常按行计算，Crout 通常按列计算。
⚝ 联系:
▮▮▮▮⚝ 都是 LU 分解的变体，都将矩阵 \(A\) 分解为下三角矩阵 \(L\) 和上三角矩阵 \(U\) 的乘积。
▮▮▮▮⚝ 理论上，对于可进行 LU 分解的矩阵，Doolittle 分解和 Crout 分解都存在且唯一。
▮▮▮▮⚝ 在实际应用中，选择 Doolittle 分解或 Crout 分解通常取决于具体的算法实现和习惯。Doolittle 分解更常见于教材和算法描述中，而 Crout 分解在某些工程计算中可能更受欢迎。

LU分解的应用:

① 求解线性方程组 (Solving systems of linear equations):
▮▮▮▮对于线性方程组 \(Ax = b\)，如果已知 \(A = LU\)，则可以将原方程组转化为两个三角方程组：
\[ LUx = b \]
▮▮▮▮首先，令 \(Ux = y\)，则原方程组变为 \(Ly = b\)。由于 \(L\) 是下三角矩阵，我们可以使用前向替换 (forward substitution) 快速解出 \(y\)。
▮▮▮▮得到 \(y\) 后，再解方程组 \(Ux = y\)。由于 \(U\) 是上三角矩阵，我们可以使用后向替换 (backward substitution) 快速解出 \(x\)。
▮▮▮▮求解三角方程组的计算量远小于直接求解原方程组，因此 LU 分解可以显著提高求解线性方程组的效率。

② 计算行列式 (Calculating determinants):
▮▮▮▮如果已知 \(A = LU\)，则矩阵 \(A\) 的行列式可以表示为：
\[ \det(A) = \det(LU) = \det(L) \det(U) \]
▮▮▮▮由于 \(L\) 是下三角矩阵，其行列式等于对角线元素之积；\(U\) 是上三角矩阵，其行列式也等于对角线元素之积。对于 Doolittle 分解 (单位下三角矩阵)，\(\det(L) = 1\)，因此 \(\det(A) = \det(U) = \prod_{i=1}^{n} u_{ii}\)。
▮▮▮▮计算三角矩阵的行列式非常简单，因此 LU 分解为计算矩阵行列式提供了一种有效方法。

5.2 QR分解 (QR Decomposition)

本节介绍QR分解，包括Gram-Schmidt正交化方法、Householder反射与Givens旋转，并探讨QR分解的应用。

5.2.1 Gram-Schmidt 正交化方法 (Gram-Schmidt orthogonalization method)

QR分解 (QR decomposition) 是将矩阵 \(A\) 分解为一个正交矩阵 (orthogonal matrix) \(Q\) 和一个上三角矩阵 (upper triangular matrix) \(R\) 的乘积，即 \(A = QR\)。QR分解在数值线性代数中有着广泛的应用，尤其是在求解最小二乘问题、特征值问题和奇异值问题等方面。

Gram-Schmidt 正交化方法 (Gram-Schmidt orthogonalization method) 是一种构造 QR 分解的经典方法。该方法基于将一组线性无关的向量正交化和单位化的思想。

Gram-Schmidt 正交化过程:

假设我们有一组线性无关的向量 \(\{a_1, a_2, \ldots, a_n\}\)，我们希望通过 Gram-Schmidt 过程构造出一组标准正交向量 (orthonormal vectors) \(\{q_1, q_2, \ldots, q_n\}\)，使得 \(\text{span}\{a_1, a_2, \ldots, a_k\} = \text{span}\{q_1, q_2, \ldots, q_k\}\) 对于所有 \(k = 1, 2, \ldots, n\) 成立。

① 正交化 (Orthogonalization):
▮▮▮▮首先，令 \(b_1 = a_1\)。
▮▮▮▮然后，对于 \(i = 2, 3, \ldots, n\)，计算正交向量 \(b_i\)：
\[ b_i = a_i - \text{proj}_{V_{i-1}} a_i = a_i - \sum_{j=1}^{i-1} \text{proj}_{b_j} a_i = a_i - \sum_{j=1}^{i-1} \frac{a_i^T b_j}{\|b_j\|^2} b_j \]
▮▮▮▮其中，\(V_{i-1} = \text{span}\{b_1, b_2, \ldots, b_{i-1}\}\) 是由前 \(i-1\) 个正交向量张成的子空间，\(\text{proj}_{V_{i-1}} a_i\) 是 \(a_i\) 在 \(V_{i-1}\) 上的正交投影 (orthogonal projection)，\(\text{proj}_{b_j} a_i = \frac{a_i^T b_j}{\|b_j\|^2} b_j\) 是 \(a_i\) 在向量 \(b_j\) 上的投影。

▮▮▮▮通过上述过程，我们得到了一组正交向量 \(\{b_1, b_2, \ldots, b_n\}\)。

② 单位化 (Normalization):
▮▮▮▮为了得到标准正交向量，我们需要将每个正交向量 \(b_i\) 单位化 (normalize)，即除以其范数 (norm) \(\|b_i\|\)：
\[ q_i = \frac{b_i}{\|b_i\|}, \quad i = 1, 2, \ldots, n \]
▮▮▮▮这样，我们就得到了一组标准正交向量 \(\{q_1, q_2, \ldots, q_n\}\)。

QR 分解的构造:

将 Gram-Schmidt 过程与矩阵分解联系起来，我们可以构造 QR 分解。假设 \(A = [a_1, a_2, \ldots, a_n]\) 是列向量为 \(a_1, a_2, \ldots, a_n\) 的矩阵，\(Q = [q_1, q_2, \ldots, q_n]\) 是列向量为 \(q_1, q_2, \ldots, q_n\) 的矩阵，\(R\) 是一个上三角矩阵。

从 Gram-Schmidt 过程的公式中，我们可以得到：
\[ b_1 = a_1 = \|b_1\| q_1 = r_{11} q_1, \quad \text{where } r_{11} = \|b_1\| \]
\[ b_2 = a_2 - \frac{a_2^T b_1}{\|b_1\|^2} b_1 = a_2 - (a_2^T q_1) q_1 = \|b_2\| q_2 = r_{22} q_2 \]
\[ a_2 = b_2 + (a_2^T q_1) q_1 = r_{22} q_2 + r_{12} q_1, \quad \text{where } r_{12} = a_2^T q_1 \]
一般地，对于 \(i = 1, 2, \ldots, n\)，我们有：
\[ b_i = a_i - \sum_{j=1}^{i-1} (a_i^T q_j) q_j = \|b_i\| q_i = r_{ii} q_i, \quad \text{where } r_{ii} = \|b_i\| \]
\[ a_i = b_i + \sum_{j=1}^{i-1} (a_i^T q_j) q_j = r_{ii} q_i + \sum_{j=1}^{i-1} r_{ji} q_j = \sum_{j=1}^{i} r_{ji} q_j \]
其中，\(r_{ji} = a_i^T q_j\) for \(j < i\) 和 \(r_{ii} = \|b_i\|\)。

将上述关系写成矩阵形式，得到 \(A = QR\)，其中 \(Q = [q_1, q_2, \ldots, q_n]\) 是一个正交矩阵 (因为列向量 \(\{q_i\}\) 标准正交)，\(R = (r_{ij})\) 是一个上三角矩阵，其元素为：
\[ r_{ij} = \begin{cases} q_i^T a_j & \text{if } i < j \\ \|a_j - \sum_{k=1}^{j-1} r_{kj} q_k\| & \text{if } i = j \\ 0 & \text{if } i > j \end{cases} \]

Gram-Schmidt QR 分解算法步骤:

输入：矩阵 \(A = [a_1, a_2, \ldots, a_n]\)。
输出：QR 分解 \(A = QR\)，其中 \(Q\) 是正交矩阵，\(R\) 是上三角矩阵。

① 初始化：\(Q = \text{零矩阵 (zero matrix)}\), \(R = \text{零矩阵 (zero matrix)}\)。
② 对于 \(j = 1, 2, \ldots, n\):
▮▮▮▮ⓒ 令 \(b_j = a_j\)。
▮▮▮▮ⓓ 对于 \(i = 1, 2, \ldots, j-1\):
▮▮▮▮▮▮▮▮❺ 计算投影系数 \(r_{ij} = q_i^T a_j\)。
▮▮▮▮▮▮▮▮❻ 更新正交向量 \(b_j = b_j - r_{ij} q_i\)。
▮▮▮▮ⓖ 计算范数 \(r_{jj} = \|b_j\|\)。
▮▮▮▮ⓗ 如果 \(r_{jj} = 0\)，则停止（\(A\) 列向量线性相关，QR 分解可能不存在唯一性）。
▮▮▮▮ⓘ 单位化 \(q_j = \frac{b_j}{r_{jj}}\)。
▮▮▮▮ⓙ 记录 \(R_{ij} = r_{ij}\) (当 \(i \leq j\)) 和 \(Q\) 的第 \(j\) 列为 \(q_j\)。

③ 输出 \(Q\) 和 \(R\)。

经典 Gram-Schmidt 方法与修正 Gram-Schmidt 方法:

上述介绍的是经典 Gram-Schmidt 方法 (Classical Gram-Schmidt, CGS)。在数值计算中，经典 Gram-Schmidt 方法的数值稳定性 (numerical stability) 较差，容易受到舍入误差 (round-off errors) 的影响，导致得到的 \(Q\) 矩阵的正交性降低。

为了提高数值稳定性，人们提出了修正 Gram-Schmidt 方法 (Modified Gram-Schmidt, MGS)。修正 Gram-Schmidt 方法的主要改进在于正交化过程的顺序不同。在经典 Gram-Schmidt 方法中，\(a_j\) 依次减去在 \(q_1, q_2, \ldots, q_{j-1}\) 上的投影；而在修正 Gram-Schmidt 方法中，\(a_j\) 依次减去在已经正交化后的 \(q_1, q_2, \ldots, q_{j-1}\) 上的投影，并且每完成一次投影就立即更新 \(a_j\)。

修正 Gram-Schmidt 方法步骤:

输入：矩阵 \(A = [a_1, a_2, \ldots, a_n]\)。
输出：QR 分解 \(A = QR\)，其中 \(Q\) 是正交矩阵，\(R\) 是上三角矩阵。

① 初始化：\(Q = \text{零矩阵}\), \(R = \text{零矩阵}\)。令 \(b_j = a_j\) for \(j = 1, 2, \ldots, n\)。
② 对于 \(j = 1, 2, \ldots, n\):
▮▮▮▮ⓒ 计算范数 \(r_{jj} = \|b_j\|\)。
▮▮▮▮ⓓ 如果 \(r_{jj} = 0\)，则停止。
▮▮▮▮ⓔ 单位化 \(q_j = \frac{b_j}{r_{jj}}\)。
▮▮▮▮ⓕ 对于 \(i = j+1, \ldots, n\):
▮▮▮▮▮▮▮▮❼ 计算投影系数 \(r_{ji} = q_j^T b_i\)。
▮▮▮▮▮▮▮▮❽ 更新向量 \(b_i = b_i - r_{ji} q_j\)。
▮▮▮▮ⓘ 记录 \(Q\) 的第 \(j\) 列为 \(q_j\), \(R\) 的第 \(j\) 行元素 \(r_{jj}, r_{j, j+1}, \ldots, r_{jn}\) (其中 \(r_{ji}\) 在步骤 ⓓ 中已计算)。

③ 输出 \(Q\) 和 \(R\)。

修正 Gram-Schmidt 方法在数值稳定性方面优于经典 Gram-Schmidt 方法，因此在实际应用中更常用。

5.2.2 Householder 反射与 Givens 旋转 (Householder reflection and Givens rotation)

除了 Gram-Schmidt 正交化方法，Householder 反射 (Householder reflection) 和 Givens 旋转 (Givens rotation) 也是构造 QR 分解的重要方法。这两种方法都基于正交变换 (orthogonal transformations)，具有更好的数值稳定性。

① Householder 反射:
▮▮▮▮Householder 反射 是一种将向量反射到指定方向的线性变换。对于给定的非零向量 \(v\)，Householder 反射矩阵 \(H\) 定义为：
\[ H = I - 2 \frac{vv^T}{v^T v} \]
▮▮▮▮其中，\(I\) 是单位矩阵，\(v^T v = \|v\|^2\) 是向量 \(v\) 的范数的平方。Householder 矩阵 \(H\) 具有以下性质：
▮▮▮▮⚝ 对称性 (Symmetry): \(H^T = H\)。
▮▮▮▮⚝ 正交性 (Orthogonality): \(H^T H = H^2 = I\)，即 \(H^{-1} = H\)。
▮▮▮▮⚝ 反射性 (Reflection): 对于任意向量 \(x\)，\(Hx\) 是 \(x\) 关于超平面 \(\text{span}\{v\}^\perp\) 的反射。

▮▮▮▮在 QR 分解中，Householder 反射的主要作用是通过一系列反射将矩阵 \(A\) 逐步转化为上三角矩阵 \(R\)。具体来说，对于矩阵 \(A\) 的第一列 \(a_1\)，我们构造一个 Householder 矩阵 \(H_1\)，使得 \(H_1 a_1\) 变为 \(\|\pm a_1\| e_1\)，其中 \(e_1 = [1, 0, \ldots, 0]^T\) 是第一个标准基向量 (standard basis vector)。然后，将 \(H_1\) 应用于整个矩阵 \(A\)，得到 \(H_1 A\)。此时，\(H_1 A\) 的第一列已经具有上三角形式。

▮▮▮▮接下来，对于 \(H_1 A\) 的第二列的子向量（从第二行开始），构造 Householder 矩阵 \(H_2'\) (作用在子空间上)，将其扩展为与 \(H_1\) 相同大小的矩阵 \(H_2 = \begin{pmatrix} 1 & 0 \\ 0 & H_2' \end{pmatrix}\)，使得 \(H_2 (H_1 A)\) 的前两列具有上三角形式。以此类推，经过 \(n-1\) 次 Householder 反射，最终得到上三角矩阵 \(R = H_{n-1} \cdots H_2 H_1 A\)。由于每个 \(H_i\) 都是正交矩阵，它们的乘积 \(Q^T = H_{n-1} \cdots H_1\) 也是正交矩阵，因此 \(A = QR\)，其中 \(Q = (Q^T)^T = (H_{n-1} \cdots H_1)^T = H_1^T H_2^T \cdots H_{n-1}^T = H_1 H_2 \cdots H_{n-1}\)。

② Givens 旋转:
▮▮▮▮Givens 旋转 (Givens rotation) 是一种平面旋转变换，用于将向量的某个分量置零，同时尽可能少地改变其他分量。对于二维向量 \(\begin{pmatrix} x \\ y \end{pmatrix}\)，Givens 旋转矩阵 \(G(\theta) = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix}\) 可以将 \(y\) 分量置零，通过选择合适的旋转角度 \(\theta\)，使得旋转后的向量为 \(\begin{pmatrix} r \\ 0 \end{pmatrix}\)。

▮▮▮▮在 QR 分解中，Givens 旋转可以逐个消除矩阵 \(A\) 的下三角元素。对于矩阵 \(A\) 的元素 \(a_{ij}\) (\(i > j\))，我们可以构造一个 Givens 旋转矩阵 \(G_{ij}\)，作用在矩阵的第 \(i\) 行和第 \(j\) 行，使得 \(G_{ij} A\) 的 \((i, j)\) 位置元素变为零。Givens 旋转矩阵 \(G_{ij}\) 是一个 \(n \times n\) 矩阵，其形式如下：

\[ G_{ij} = \begin{pmatrix} 1 & & & & & & & \\ & \ddots & & & & & & \\ & & c & \cdots & -s & & & \\ & & \vdots & \ddots & \vdots & & & \\ & & s & \cdots & c & & & \\ & & & & & \ddots & & \\ & & & & & & 1 \end{pmatrix} \]
▮▮▮▮其中，\(c = \cos \theta\), \(s = \sin \theta\)，\(c\) 和 \(-s\) 在第 \(j\) 行的 \(j\) 列和 \(i\) 列，\(s\) 和 \(c\) 在第 \(i\) 行的 \(j\) 列和 \(i\) 列，其余对角线元素为 1，非对角线元素为 0。选择合适的 \(c\) 和 \(s\) 可以使得 \(G_{ij} A\) 的 \((i, j)\) 位置元素为零。

▮▮▮▮通过一系列 Givens 旋转 \(G_{21}, G_{31}, G_{32}, \ldots, G_{n, n-1}\)，依次消除矩阵 \(A\) 的下三角元素，最终得到上三角矩阵 \(R = G_{n, n-1} \cdots G_{32} G_{31} G_{21} A\)。由于每个 \(G_{ij}\) 都是正交矩阵，它们的乘积 \(Q^T = G_{n, n-1} \cdots G_{21}\) 也是正交矩阵，因此 \(A = QR\)，其中 \(Q = (Q^T)^T = (G_{n, n-1} \cdots G_{21})^T = G_{21}^T G_{31}^T \cdots G_{n, n-1}^T\)。

Householder 反射与 Givens 旋转的比较:

⚝ Householder 反射:
▮▮▮▮⚝ 一次反射可以消除一列的多个下三角元素。
▮▮▮▮⚝ 计算量较大，但总的反射次数较少 (\(\approx n\) 次)。
▮▮▮▮⚝ 数值稳定性好。
▮▮▮▮⚝ 适合于稠密矩阵的 QR 分解。
⚝ Givens 旋转:
▮▮▮▮⚝ 一次旋转只消除一个下三角元素。
▮▮▮▮⚝ 计算量较小，但总的旋转次数较多 (\(\approx \frac{n(n-1)}{2}\) 次)。
▮▮▮▮⚝ 数值稳定性好。
▮▮▮▮⚝ 适合于稀疏矩阵的 QR 分解，可以只对非零元素进行操作，减少计算量。

QR分解的应用:

① 求解线性最小二乘问题 (Linear least squares problems):
▮▮▮▮线性最小二乘问题是指求解形如 \(\min_x \|Ax - b\|_2\) 的问题。利用 QR 分解，可以将 \(A\) 分解为 \(A = QR\)，则原问题变为：
\[ \min_x \|QRx - b\|_2 = \min_x \|Q(Rx - Q^T b) + (QQ^T - I)b\|_2 = \min_x \|Rx - Q^T b\|_2 \]
▮▮▮▮由于 \(Q\) 是正交矩阵，乘以正交矩阵不改变向量的 2-范数。令 \(y = Q^T b\)，则问题变为求解 \(\min_x \|Rx - y\|_2\)。由于 \(R\) 是上三角矩阵，我们可以通过回代 (back substitution) 求解方程组 \(Rx = y\)，得到最小二乘解。

② 特征值算法 (Eigenvalue algorithms):
▮▮▮▮QR 分解是许多特征值算法的基础，例如 QR 迭代算法 (QR iteration algorithm)，用于求解矩阵的特征值。QR 迭代算法的基本思想是通过迭代 QR 分解和矩阵乘法，逐步将矩阵转化为上三角矩阵（或接近上三角矩阵），从而近似得到特征值。

③ 奇异值分解 (Singular Value Decomposition, SVD):
▮▮▮▮QR 分解是计算奇异值分解 (SVD) 的重要步骤。许多 SVD 算法，如 Golub-Reinsch SVD 算法，都利用 QR 分解将矩阵转化为双对角矩阵，然后再进行奇异值分解。

5.3 奇异值分解 (SVD - Singular Value Decomposition)

本节深入介绍奇异值分解 (SVD)，包括奇异值的定义、性质、几何意义以及在数据降维、图像处理等领域的应用。

5.3.1 奇异值的定义与性质 (Definition and properties of singular values)

奇异值分解 (Singular Value Decomposition, SVD) 是一种非常重要的矩阵分解方法，它可以将任意 \(m \times n\) 矩阵 \(A\) 分解为三个矩阵的乘积：
\[ A = U \Sigma V^T \]
其中，\(U\) 是 \(m \times m\) 酉矩阵 (unitary matrix) (当矩阵为实数矩阵时，酉矩阵退化为正交矩阵 (orthogonal matrix))，\(V\) 是 \(n \times n\) 酉矩阵，\(\Sigma\) 是 \(m \times n\) 对角矩阵 (diagonal matrix)，对角线上的元素 \(\sigma_1, \sigma_2, \ldots, \sigma_p\) (\(p = \min(m, n)\)) 称为矩阵 \(A\) 的奇异值 (singular values)，且通常按照降序排列 (descending order) \(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_p \geq 0\)。

奇异值的定义:

矩阵 \(A\) 的奇异值 \(\sigma_i\) 定义为矩阵 \(A^H A\) (或 \(AA^H\)，对于实数矩阵，\(A^H = A^T\)) 的非负平方根 (non-negative square root) 的特征值。具体来说，如果 \(\lambda_1, \lambda_2, \ldots, \lambda_n\) 是 \(A^H A\) 的特征值，则 \(A\) 的奇异值为 \(\sigma_i = \sqrt{\lambda_i}\)。通常，奇异值按照降序排列：\(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > \sigma_{r+1} = \cdots = \sigma_n = 0\)。其中，非零奇异值的个数 \(r\) 等于矩阵 \(A\) 的秩 (rank)。

奇异值的性质:

① 非负性 (Non-negativity): 奇异值 \(\sigma_i \geq 0\) for all \(i\)。
② 唯一性 (Uniqueness): 对于给定的矩阵 \(A\)，其奇异值 \(\sigma_1, \sigma_2, \ldots, \sigma_p\) 是唯一的。
③ 与秩的关系 (Relationship with rank): 矩阵 \(A\) 的秩等于其非零奇异值的个数。
④ 与范数的关系 (Relationship with norms):
▮▮▮▮⚝ 谱范数 (Spectral norm) (或 2-范数): \(\|A\|_2 = \sigma_1\)，即矩阵 \(A\) 的谱范数等于其最大奇异值。
▮▮▮▮⚝ Frobenius 范数 (Frobenius norm): \(\|A\|_F = \sqrt{\sum_{i=1}^p \sigma_i^2}\)，即矩阵 \(A\) 的 Frobenius 范数等于其所有奇异值的平方和的平方根。
⑤ 稳定性 (Stability): 奇异值对矩阵的扰动具有良好的稳定性。小的矩阵扰动只会引起奇异值的微小变化。

奇异值分解的构成:

⚝ 奇异值矩阵 \(\Sigma\): 是一个 \(m \times n\) 对角矩阵，对角线元素为奇异值 \(\sigma_1, \sigma_2, \ldots, \sigma_p\)，其余元素为零。
\[ \Sigma = \begin{pmatrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \ddots & & \\ & & & \sigma_p & \\ & & & & 0 \\ & & & & & \ddots \end{pmatrix} \]
⚝ 左奇异向量矩阵 \(U\): 是一个 \(m \times m\) 酉矩阵，其列向量 \(u_1, u_2, \ldots, u_m\) 称为矩阵 \(A\) 的左奇异向量 (left singular vectors)。它们是 \(AA^H\) 的特征向量 (eigenvectors)。
⚝ 右奇异向量矩阵 \(V\): 是一个 \(n \times n\) 酉矩阵，其列向量 \(v_1, v_2, \ldots, v_n\) 称为矩阵 \(A\) 的右奇异向量 (right singular vectors)。它们是 \(A^H A\) 的特征向量。

奇异值分解的计算:

计算奇异值分解 \(A = U \Sigma V^T\) 的主要步骤包括：

① 计算 \(A^H A\) 或 \(AA^H\)。通常选择较小的矩阵进行计算，如果 \(m < n\)，计算 \(AA^H\)，如果 \(m \geq n\)，计算 \(A^H A\)。
② 计算 \(A^H A\) (或 \(AA^H\)) 的特征值和特征向量。特征值的非负平方根即为奇异值 \(\sigma_i\)。将特征值降序排列，得到 \(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_n \geq 0\)。
③ 构造奇异值矩阵 \(\Sigma\)。
④ 构造右奇异向量矩阵 \(V\)。将 \(A^H A\) 的单位正交特征向量 (orthonormal eigenvectors) 作为 \(V\) 的列向量。
⑤ 构造左奇异向量矩阵 \(U\)。对于非零奇异值 \(\sigma_i\)，左奇异向量 \(u_i\) 可以通过 \(u_i = \frac{1}{\sigma_i} A v_i\) 计算。对于零奇异值对应的左奇异向量，需要通过正交化 (orthogonalization) 扩展成 \(m \times m\) 酉矩阵。

在实际计算中，通常使用更稳定的数值算法，如 Golub-Reinsch SVD 算法，它基于 Householder 反射和 QR 迭代等方法，可以高效且稳定地计算奇异值分解。

5.3.2 奇异值分解的几何意义与应用 (Geometric meaning and applications of SVD)

奇异值分解的几何意义:

奇异值分解可以从几何角度理解为坐标轴的旋转、缩放与再旋转 (rotation, scaling, and rotation) 的过程。对于一个 \(m \times n\) 矩阵 \(A\)，SVD 将其作用于 \(n\) 维空间的单位球 (unit sphere) 上的向量，将其变换到 \(m\) 维空间中，得到一个超椭球 (hyperellipsoid)。

⚝ \(V^T\): 表示在输入空间 (n 维空间) 的旋转 (rotation)。将原始坐标系旋转到与右奇异向量 \(v_1, v_2, \ldots, v_n\) 对齐的新坐标系。
⚝ \(\Sigma\): 表示在旋转后的坐标系中的缩放 (scaling)。沿着新的坐标轴方向进行缩放，缩放因子为奇异值 \(\sigma_1, \sigma_2, \ldots, \sigma_p\)。奇异值的大小反映了矩阵在对应方向上的拉伸程度。
⚝ \(U\): 表示在输出空间 (m 维空间) 的旋转 (rotation)。将缩放后的超椭球旋转到与左奇异向量 \(u_1, u_2, \ldots, u_m\) 对齐的新坐标系。

奇异值分解的应用:

① 数据降维 (Dimensionality reduction):
▮▮▮▮奇异值分解可以将高维数据降到低维空间，同时保留数据的主要特征。在数据降维中，通常使用截断奇异值分解 (truncated SVD)，即只保留前 \(k\) 个最大的奇异值和对应的奇异向量，近似表示原始矩阵。
\[ A \approx A_k = U_k \Sigma_k V_k^T \]
▮▮▮▮其中，\(U_k\) 是 \(U\) 的前 \(k\) 列，\(\Sigma_k\) 是 \(k \times k\) 对角矩阵，包含前 \(k\) 个最大的奇异值，\(V_k\) 是 \(V\) 的前 \(k\) 列。\(A_k\) 是秩为 \(k\) 的矩阵，是原始矩阵 \(A\) 的最佳秩 \(k\) 近似 (在 Frobenius 范数意义下)。
▮▮▮▮主成分分析 (Principal Component Analysis, PCA) 就是一种基于 SVD 的数据降维方法。PCA 通过计算数据的协方差矩阵的奇异值分解，得到主成分方向，从而实现数据降维。

② 图像压缩 (Image compression):
▮▮▮▮图像可以表示为矩阵，奇异值分解可以将图像矩阵分解为奇异值、左奇异向量和右奇异向量。通过截断奇异值分解，只保留较大的奇异值和对应的奇异向量，可以近似表示原始图像，实现图像压缩。保留的奇异值越多，图像质量越高，压缩率越低；保留的奇异值越少，图像质量越低，压缩率越高。

③ 推荐系统 (Recommendation systems):
▮▮▮▮在推荐系统中，用户-物品评分矩阵通常是稀疏的。奇异值分解可以用于填充评分矩阵中的缺失值，并进行用户和物品的潜在特征 (latent features) 提取，从而实现个性化推荐。协同过滤 (Collaborative filtering) 等推荐算法常使用 SVD 或其变体。

④ 信息检索 (Information retrieval):
▮▮▮▮潜在语义分析 (Latent Semantic Analysis, LSA) 是一种基于 SVD 的信息检索方法。LSA 通过对文档-词项矩阵进行奇异值分解，挖掘文档和词项之间的潜在语义关系，提高信息检索的准确率。

⑤ 信号处理 (Signal processing) 和 统计学 (Statistics) 等领域也有广泛应用。

总而言之，奇异值分解是一种强大的矩阵分解工具，它不仅具有深刻的理论意义，而且在实际应用中有着广泛的应用价值，尤其是在处理大规模数据和高维数据时，SVD 能够有效地提取数据特征、降低数据维度、提高算法效率。

6. 数值线性代数 (Numerical Linear Algebra)

本章介绍数值线性代数 (Numerical Linear Algebra) 的基本概念和常用方法，包括向量与矩阵范数 (Norms of Vectors and Matrices)、迭代法解线性方程组 (Iterative Methods for Solving Linear Equations) 以及特征值问题的数值方法 (Numerical Methods for Eigenvalue Problems)。

6.1 向量与矩阵的范数 (Norms of Vectors and Matrices)

本节介绍向量范数 (vector norm) 和矩阵范数 (matrix norm) 的定义与类型，为数值计算中的误差分析和收敛性分析提供工具。

6.1.1 向量范数的定义与类型 (Definition and types of vector norms)

向量范数 (vector norm) 是一种衡量向量“长度”或“大小”的函数。它将向量空间 \(V\) 中的每个向量 \( \mathbf{x} \) 映射到一个非负实数，记作 \( \| \mathbf{x} \| \)，并满足以下三个基本性质（公理）：

① 非负性 (Non-negativity)：对于所有向量 \( \mathbf{x} \in V \)，\( \| \mathbf{x} \| \geq 0 \)，且 \( \| \mathbf{x} \| = 0 \) 当且仅当 \( \mathbf{x} = \mathbf{0} \)。

② 齐次性 (Homogeneity)：对于所有标量 \( c \) 和向量 \( \mathbf{x} \in V \)，\( \| c \mathbf{x} \| = |c| \| \mathbf{x} \| \)。

③ 三角不等式 (Triangle inequality)：对于所有向量 \( \mathbf{x}, \mathbf{y} \in V \)，\( \| \mathbf{x} + \mathbf{y} \| \leq \| \mathbf{x} \| + \| \mathbf{y} \| \)。

满足以上三个性质的函数 \( \| \cdot \| \) 就称为向量空间 \(V\) 上的一个范数。

在 \(n\) 维实向量空间 \( \mathbb{R}^n \) 或复向量空间 \( \mathbb{C}^n \) 中，常用的向量范数主要有以下几种：

① \(l_p\)-范数 (\(l_p\)-norm) 或 Holder 范数 (Hölder norm)：对于向量 \( \mathbf{x} = [x_1, x_2, \dots, x_n]^T \in \mathbb{C}^n \) 和 \( p \geq 1 \)，\(l_p\)-范数定义为：
\[ \| \mathbf{x} \|_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{1/p} \]
当 \( p \) 取不同的值时，就得到不同的具体范数：

▮▮▮▮ⓐ \(l_1\)-范数 ( \(l_1\)-norm) 或 曼哈顿范数 (Manhattan norm) 或 绝对值范数 (absolute value norm)：
\[ \| \mathbf{x} \|_1 = \sum_{i=1}^{n} |x_i| \]
\(l_1\)-范数是向量元素绝对值之和，也称为出租车范数，因为它表示在网格城市中从一点到另一点沿着网格线的最短路径长度。

▮▮▮▮ⓑ \(l_2\)-范数 ( \(l_2\)-norm) 或 欧几里得范数 (Euclidean norm)：
\[ \| \mathbf{x} \|_2 = \sqrt{\sum_{i=1}^{n} |x_i|^2} = \sqrt{\mathbf{x}^H \mathbf{x}} \]
\(l_2\)-范数是最常用的范数，表示向量的欧几里得长度，即向量的模长。在不特别指明的情况下，向量范数通常指 \(l_2\)-范数。

▮▮▮▮ⓒ \(l_\infty\)-范数 ( \(l_\infty\)-norm) 或 无穷范数 (infinity norm) 或 最大范数 (max norm)：
\[ \| \mathbf{x} \|_\infty = \max_{1 \leq i \leq n} |x_i| \]
\(l_\infty\)-范数是向量元素绝对值的最大值。

② \(l_0\)-“范数” (\(l_0\)-“norm”): \(l_0\)-“范数” \( \| \mathbf{x} \|_0 \) 被定义为向量 \( \mathbf{x} \) 中非零元素的个数。然而，需要注意的是，\(l_0\)-“范数” 实际上不是一个真正的范数，因为它不满足齐次性。例如，\( \| 2\mathbf{x} \|_0 = \| \mathbf{x} \|_0 \)，而不是 \( \| 2\mathbf{x} \|_0 = 2 \| \mathbf{x} \|_0 \) (如果 \( \mathbf{x} \neq \mathbf{0} \))。尽管如此，\(l_0\)-“范数” 在稀疏性 (sparsity) 约束和特征选择中仍然很有用。

③ \(l_{0.5}\)-“范数” (\(l_{0.5}\)-“norm”): \(l_{0.5}\)-“范数” \( \| \mathbf{x} \|_{0.5} = \sum_{i=1}^{n} \sqrt{|x_i|} \)。 类似于 \(l_0\)-“范数”，\(l_{0.5}\)-“范数” 也不是一个真正的范数，因为它不满足齐次性和三角不等式。尽管如此，在某些稀疏优化问题中，\(l_{0.5}\)-“范数” 可以作为 \(l_0\)-“范数” 的一个更平滑的替代，以获得更好的数值性质。

④ 加权 \(l_2\)-范数 (Weighted \(l_2\)-norm)：对于正定矩阵 \( \mathbf{W} \)，加权 \(l_2\)-范数定义为：
\[ \| \mathbf{x} \|_{\mathbf{W}} = \sqrt{\mathbf{x}^H \mathbf{W} \mathbf{x}} \]
当 \( \mathbf{W} = \mathbf{I} \) 时，加权 \(l_2\)-范数退化为标准的 \(l_2\)-范数。加权 \(l_2\)-范数在某些应用中很有用，例如在统计学中的马氏距离 (Mahalanobis distance)。

例 6.1: 设有向量 \( \mathbf{x} = [3, -4, 5]^T \)。计算 \( \mathbf{x} \) 的 \(l_1\)-范数、\(l_2\)-范数和 \(l_\infty\)-范数。

解:
⚝ \(l_1\)-范数：\( \| \mathbf{x} \|_1 = |3| + |-4| + |5| = 3 + 4 + 5 = 12 \)。
⚝ \(l_2\)-范数：\( \| \mathbf{x} \|_2 = \sqrt{3^2 + (-4)^2 + 5^2} = \sqrt{9 + 16 + 25} = \sqrt{50} = 5\sqrt{2} \approx 7.071 \)。
⚝ \(l_\infty\)-范数：\( \| \mathbf{x} \|_\infty = \max\{|3|, |-4|, |5|\} = 5 \)。

向量范数的选择取决于具体的应用场景。\(l_1\)-范数和 \(l_\infty\)-范数计算简单，常用于理论分析或对计算效率要求较高的场合。\(l_2\)-范数具有良好的几何意义和数学性质，在优化问题和机器学习中应用广泛。

6.1.2 矩阵范数的定义与类型 (Definition and types of matrix norms)

矩阵范数 (matrix norm) 是向量范数的推广，用于衡量矩阵“大小”的函数。对于 \(m \times n\) 矩阵空间 \( \mathbb{C}^{m \times n} \) 中的矩阵 \( \mathbf{A} \)，矩阵范数 \( \| \mathbf{A} \| \) 是一个非负实数，满足以下性质：

① 非负性 (Non-negativity)：对于所有矩阵 \( \mathbf{A} \in \mathbb{C}^{m \times n} \)，\( \| \mathbf{A} \| \geq 0 \)，且 \( \| \mathbf{A} \| = 0 \) 当且仅当 \( \mathbf{A} = \mathbf{0} \) (零矩阵)。

② 齐次性 (Homogeneity)：对于所有标量 \( c \) 和矩阵 \( \mathbf{A} \in \mathbb{C}^{m \times n} \)，\( \| c \mathbf{A} \| = |c| \| \mathbf{A} \| \)。

③ 三角不等式 (Triangle inequality)：对于所有矩阵 \( \mathbf{A}, \mathbf{B} \in \mathbb{C}^{m \times n} \)，\( \| \mathbf{A} + \mathbf{B} \| \leq \| \mathbf{A} \| + \| \mathbf{B} \| \)。

④ 相容性或次可乘性 (Submultiplicativity)：对于可以相乘的矩阵 \( \mathbf{A} \in \mathbb{C}^{m \times n} \) 和 \( \mathbf{B} \in \mathbb{C}^{n \times p} \)，\( \| \mathbf{A} \mathbf{B} \| \leq \| \mathbf{A} \| \| \mathbf{B} \| \)。这个性质对于矩阵范数尤其重要，因为它保证了矩阵乘法运算的范数有界。

满足以上性质的函数 \( \| \cdot \| \) 称为矩阵范数。常用的矩阵范数主要有以下几种：

① Frobenius 范数 (Frobenius norm) 或 F-范数 (F-norm) 或 希尔伯特-施密特范数 (Hilbert-Schmidt norm)：对于 \(m \times n\) 矩阵 \( \mathbf{A} = [a_{ij}] \in \mathbb{C}^{m \times n} \)，Frobenius 范数定义为：
\[ \| \mathbf{A} \|_F = \sqrt{\sum_{i=1}^{m} \sum_{j=1}^{n} |a_{ij}|^2} = \sqrt{\text{trace}(\mathbf{A}^H \mathbf{A})} = \sqrt{\sum_{i=1}^{\min(m,n)} \sigma_i^2} \]
其中 \( \sigma_i \) 是矩阵 \( \mathbf{A} \) 的奇异值，\( \text{trace}(\cdot) \) 表示矩阵的迹 (trace)，即对角线元素之和。Frobenius 范数可以看作是将矩阵展平成向量后求 \(l_2\)-范数。

② 诱导范数 (Induced norm) 或 算子范数 (Operator norm) 或 谱范数 (Spectral norm)：诱导范数是由向量范数诱导而来的矩阵范数。给定向量范数 \( \| \cdot \|_\alpha \) (在 \( \mathbb{C}^n \) 上) 和 \( \| \cdot \|_\beta \) (在 \( \mathbb{C}^m \) 上)，由 \( \| \cdot \|_\alpha \) 诱导到 \( \| \cdot \|_\beta \) 的矩阵范数定义为：
\[ \| \mathbf{A} \|_{\alpha \to \beta} = \sup_{\mathbf{x} \neq \mathbf{0}} \frac{\| \mathbf{A} \mathbf{x} \|_\beta}{\| \mathbf{x} \|_\alpha} = \max_{\| \mathbf{x} \|_\alpha = 1} \| \mathbf{A} \mathbf{x} \|_\beta \]
常用的诱导范数有：

▮▮▮▮ⓐ \(l_p\) 诱导范数 (\(l_p\) induced norm)：当向量范数 \( \| \cdot \|_\alpha = \| \cdot \|_p \) 且 \( \| \cdot \|_\beta = \| \cdot \|_p \) 时，得到的矩阵范数称为 \(l_p\) 诱导范数，记为 \( \| \mathbf{A} \|_p \)。

▮▮▮▮▮▮▮▮❶ \(l_1\) 诱导范数 ( \(l_1\) induced norm) 或 最大列和范数 (Maximum column sum norm)：\(l_1\) 诱导范数 \( \| \mathbf{A} \|_1 \) 是矩阵 \( \mathbf{A} \) 所有列向量的 \(l_1\)-范数中的最大值，即：
\[ \| \mathbf{A} \|_1 = \max_{1 \leq j \leq n} \sum_{i=1}^{m} |a_{ij}| \]
计算方法为：先求每一列元素绝对值之和（列和），再取所有列和的最大值。

▮▮▮▮▮▮▮▮❷ \(l_2\) 诱导范数 ( \(l_2\) induced norm) 或 谱范数 (Spectral norm)：\(l_2\) 诱导范数 \( \| \mathbf{A} \|_2 \) 等于矩阵 \( \mathbf{A} \) 的最大奇异值 \( \sigma_{\max}(\mathbf{A}) \)，也等于 \( \sqrt{\lambda_{\max}(\mathbf{A}^H \mathbf{A})} \)，其中 \( \lambda_{\max}(\mathbf{A}^H \mathbf{A}) \) 是矩阵 \( \mathbf{A}^H \mathbf{A} \) 的最大特征值。
\[ \| \mathbf{A} \|_2 = \sigma_{\max}(\mathbf{A}) = \sqrt{\lambda_{\max}(\mathbf{A}^H \mathbf{A})} \]
谱范数在理论分析和数值计算中非常重要。

▮▮▮▮▮▮▮▮❸ \(l_\infty\) 诱导范数 ( \(l_\infty\) induced norm) 或 最大行和范数 (Maximum row sum norm)：\(l_\infty\) 诱导范数 \( \| \mathbf{A} \|_\infty \) 是矩阵 \( \mathbf{A} \) 所有行向量的 \(l_1\)-范数中的最大值，即：
\[ \| \mathbf{A} \|_\infty = \max_{1 \leq i \leq m} \sum_{j=1}^{n} |a_{ij}| \]
计算方法为：先求每一行元素绝对值之和（行和），再取所有行和的最大值。

③ 核范数 (Nuclear norm) 或 迹范数 (Trace norm)：矩阵 \( \mathbf{A} \) 的核范数定义为奇异值之和：
\[ \| \mathbf{A} \|_* = \sum_{i=1}^{\min(m,n)} \sigma_i \]
核范数是秩函数 (rank function) 的凸包 (convex envelope)，在低秩矩阵恢复 (low-rank matrix recovery) 和协同过滤 (collaborative filtering) 等领域有重要应用。

例 6.2: 设有矩阵 \( \mathbf{A} = \begin{bmatrix} 1 & -2 \\ 3 & 0 \\ -1 & 4 \end{bmatrix} \)。计算 \( \mathbf{A} \) 的 Frobenius 范数、\(l_1\) 诱导范数、\(l_\infty\) 诱导范数。

解:
⚝ Frobenius 范数：\( \| \mathbf{A} \|_F = \sqrt{1^2 + (-2)^2 + 3^2 + 0^2 + (-1)^2 + 4^2} = \sqrt{1 + 4 + 9 + 0 + 1 + 16} = \sqrt{31} \approx 5.568 \)。
⚝ \(l_1\) 诱导范数（最大列和范数）：
▮▮▮▮⚝ 第1列元素绝对值之和：\( |1| + |3| + |-1| = 5 \)。
▮▮▮▮⚝ 第2列元素绝对值之和：\( |-2| + |0| + |4| = 6 \).
因此，\( \| \mathbf{A} \|_1 = \max\{5, 6\} = 6 \)。
⚝ \(l_\infty\) 诱导范数（最大行和范数）：
▮▮▮▮⚝ 第1行元素绝对值之和：\( |1| + |-2| = 3 \)。
▮▮▮▮⚝ 第2行元素绝对值之和：\( |3| + |0| = 3 \)。
▮▮▮▮⚝ 第3行元素绝对值之和：\( |-1| + |4| = 5 \).
因此，\( \| \mathbf{A} \|_\infty = \max\{3, 3, 5\} = 5 \)。

矩阵范数的选择同样取决于具体的应用。Frobenius 范数计算简便，常用于误差分析和最优化问题。谱范数与矩阵的奇异值和特征值密切相关，在理论分析和控制理论中应用广泛。\(l_1\) 和 \(l_\infty\) 诱导范数计算相对简单，在某些数值计算中也很有用。

6.2 迭代法解线性方程组 (Iterative Methods for Solving Linear Equations)

本节介绍 Jacobi 迭代法 (Jacobi iterative method) 和 Gauss-Seidel 迭代法 (Gauss-Seidel iterative method)，用于求解大型稀疏线性方程组 (large sparse systems of linear equations)。对于大型稀疏线性方程组，直接法（如高斯消元法）可能效率较低，且容易累积舍入误差。迭代法通过构造迭代序列逼近解，具有计算量小、存储空间需求低、对舍入误差不敏感等优点，尤其适用于系数矩阵为大型稀疏矩阵的情况。

6.2.1 Jacobi 迭代法 (Jacobi iterative method)

Jacobi 迭代法是一种求解线性方程组 \( \mathbf{A} \mathbf{x} = \mathbf{b} \) 的基本迭代方法。其基本思想是将系数矩阵 \( \mathbf{A} \) 分解为对角矩阵 \( \mathbf{D} \)、下三角矩阵 \( \mathbf{L} \) 和上三角矩阵 \( \mathbf{U} \) 之和，即 \( \mathbf{A} = \mathbf{D} - \mathbf{L} - \mathbf{U} \)，其中 \( \mathbf{D} \) 是 \( \mathbf{A} \) 的对角部分，\( -\mathbf{L} \) 是 \( \mathbf{A} \) 的严格下三角部分，\( -\mathbf{U} \) 是 \( \mathbf{A} \) 的严格上三角部分。

将 \( \mathbf{A} = \mathbf{D} - \mathbf{L} - \mathbf{U} \) 代入 \( \mathbf{A} \mathbf{x} = \mathbf{b} \)，得到 \( (\mathbf{D} - \mathbf{L} - \mathbf{U}) \mathbf{x} = \mathbf{b} \)，移项可得 \( \mathbf{D} \mathbf{x} = (\mathbf{L} + \mathbf{U}) \mathbf{x} + \mathbf{b} \)。假设对角矩阵 \( \mathbf{D} \) 可逆（即对角元素 \( d_{ii} \neq 0 \)），则可将方程改写为：
\[ \mathbf{x} = \mathbf{D}^{-1} (\mathbf{L} + \mathbf{U}) \mathbf{x} + \mathbf{D}^{-1} \mathbf{b} \]
令 \( \mathbf{B}_J = \mathbf{D}^{-1} (\mathbf{L} + \mathbf{U}) \) 和 \( \mathbf{f}_J = \mathbf{D}^{-1} \mathbf{b} \)，则 Jacobi 迭代格式为：
\[ \mathbf{x}^{(k+1)} = \mathbf{B}_J \mathbf{x}^{(k)} + \mathbf{f}_J, \quad k = 0, 1, 2, \dots \]
其中 \( \mathbf{x}^{(0)} \) 是给定的初始向量，\( \mathbf{x}^{(k)} \) 是第 \(k\) 次迭代的近似解。矩阵 \( \mathbf{B}_J \) 称为 Jacobi 迭代矩阵。

分量形式：将 Jacobi 迭代格式写成分量形式，设 \( \mathbf{x}^{(k)} = [x_1^{(k)}, x_2^{(k)}, \dots, x_n^{(k)}]^T \)，则第 \(i\) 个分量的迭代公式为：
\[ x_i^{(k+1)} = \frac{1}{a_{ii}} \left( b_i - \sum_{j=1, j \neq i}^{n} a_{ij} x_j^{(k)} \right), \quad i = 1, 2, \dots, n \]
即用上一次迭代的所有分量 \( x_j^{(k)} \) (\(j \neq i\)) 来计算本次迭代的第 \(i\) 个分量 \( x_i^{(k+1)} \)。

收敛性条件：Jacobi 迭代法是否收敛取决于迭代矩阵 \( \mathbf{B}_J \) 的谱半径 \( \rho(\mathbf{B}_J) \)。Jacobi 迭代法收敛的充分必要条件是 \( \rho(\mathbf{B}_J) < 1 \)。

一些常用的 Jacobi 迭代法收敛的充分条件（易于验证的条件）：

① 严格对角占优 (Strictly diagonally dominant)：如果系数矩阵 \( \mathbf{A} \) 满足行严格对角占优或列严格对角占优，则 Jacobi 迭代法收敛。
▮▮▮▮⚝ 行严格对角占优 (Row strictly diagonally dominant)：对于矩阵 \( \mathbf{A} \) 的每一行 \(i\)，对角元素 \( |a_{ii}| \) 的绝对值大于该行非对角元素绝对值之和，即 \( |a_{ii}| > \sum_{j=1, j \neq i}^{n} |a_{ij}| \)，对于所有 \( i = 1, 2, \dots, n \)。
▮▮▮▮⚝ 列严格对角占优 (Column strictly diagonally dominant)：对于矩阵 \( \mathbf{A} \) 的每一列 \(j\)，对角元素 \( |a_{jj}| \) 的绝对值大于该列非对角元素绝对值之和，即 \( |a_{jj}| > \sum_{i=1, i \neq j}^{m} |a_{ij}| \)，对于所有 \( j = 1, 2, \dots, n \)。

② 系数矩阵 \( \mathbf{A} \) 正定 (Positive definite) 或 对称正定 (Symmetric positive definite)：如果系数矩阵 \( \mathbf{A} \) 是对称正定矩阵，则 Jacobi 迭代法收敛（但需要满足 \( 0 < \omega < \frac{2}{\rho(\mathbf{D}^{-1}\mathbf{A})} \) 的松弛 Jacobi 迭代法才收敛，原始 Jacobi 迭代法不一定收敛）。

迭代终止条件：在实际计算中，需要设置迭代终止条件以结束迭代过程。常用的迭代终止条件有：

① 残差 (Residual) 范数控制：当残差向量 \( \mathbf{r}^{(k)} = \mathbf{b} - \mathbf{A} \mathbf{x}^{(k)} \) 的范数 \( \| \mathbf{r}^{(k)} \| \) 小于给定的精度 \( \epsilon \) 时，停止迭代，即 \( \| \mathbf{b} - \mathbf{A} \mathbf{x}^{(k)} \| < \epsilon \)。

② 相邻迭代向量之差 (Difference between successive iterates) 范数控制：当相邻两次迭代向量之差 \( \mathbf{x}^{(k+1)} - \mathbf{x}^{(k)} \) 的范数 \( \| \mathbf{x}^{(k+1)} - \mathbf{x}^{(k)} \| \) 小于给定的精度 \( \epsilon \) 时，停止迭代，即 \( \| \mathbf{x}^{(k+1)} - \mathbf{x}^{(k)} \| < \epsilon \)。

③ 最大迭代次数 (Maximum number of iterations) 控制：设置最大迭代次数 \( k_{\max} \)，当迭代次数达到 \( k_{\max} \) 时，停止迭代。

在实际应用中，通常结合使用残差范数控制和最大迭代次数控制，以保证迭代的精度和效率。

例 6.3: 用 Jacobi 迭代法求解线性方程组：
\[ \begin{cases} 4x_1 - x_2 - x_3 = 3 \\ -x_1 + 4x_2 - x_3 = 6 \\ -x_1 - x_2 + 4x_3 = 15 \end{cases} \]
取初始向量 \( \mathbf{x}^{(0)} = [0, 0, 0]^T \)，迭代精度 \( \epsilon = 0.01 \)。

解:
系数矩阵 \( \mathbf{A} = \begin{bmatrix} 4 & -1 & -1 \\ -1 & 4 & -1 \\ -1 & -1 & 4 \end{bmatrix} \)，常数向量 \( \mathbf{b} = \begin{bmatrix} 3 \\ 6 \\ 15 \end{bmatrix} \)。
Jacobi 迭代格式为：
\[ \begin{cases} x_1^{(k+1)} = \frac{1}{4} (3 + x_2^{(k)} + x_3^{(k)}) \\ x_2^{(k+1)} = \frac{1}{4} (6 + x_1^{(k)} + x_3^{(k)}) \\ x_3^{(k+1)} = \frac{1}{4} (15 + x_1^{(k)} + x_2^{(k)}) \end{cases} \]
迭代过程如下：

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [0, 0, 0]^T \)
\[ \begin{cases} x_1^{(1)} = \frac{1}{4} (3 + 0 + 0) = 0.75 \\ x_2^{(1)} = \frac{1}{4} (6 + 0 + 0) = 1.5 \\ x_3^{(1)} = \frac{1}{4} (15 + 0 + 0) = 3.75 \end{cases} \]
\( \mathbf{x}^{(1)} = [0.75, 1.5, 3.75]^T \)

⚝ \(k=1\): \( \mathbf{x}^{(1)} = [0.75, 1.5, 3.75]^T \)
\[ \begin{cases} x_1^{(2)} = \frac{1}{4} (3 + 1.5 + 3.75) = 2.0625 \\ x_2^{(2)} = \frac{1}{4} (6 + 0.75 + 3.75) = 2.625 \\ x_3^{(2)} = \frac{1}{4} (15 + 0.75 + 1.5) = 4.3125 \end{cases} \]
\( \mathbf{x}^{(2)} = [2.0625, 2.625, 4.3125]^T \)

⚝ \(k=2\): \( \mathbf{x}^{(2)} = [2.0625, 2.625, 4.3125]^T \)
\[ \begin{cases} x_1^{(3)} = \frac{1}{4} (3 + 2.625 + 4.3125) = 2.484375 \\ x_2^{(3)} = \frac{1}{4} (6 + 2.0625 + 4.3125) = 3.1 \\ x_3^{(3)} = \frac{1}{4} (15 + 2.0625 + 2.625) = 4.921875 \end{cases} \]
\( \mathbf{x}^{(3)} = [2.484375, 3.1, 4.921875]^T \)

... (继续迭代，直到满足精度要求)

经过若干次迭代后，可以得到满足精度要求的近似解。例如，迭代 20 次后，得到近似解 \( \mathbf{x}^{(20)} \approx [2.9999, 3.9999, 5.9999]^T \)，接近精确解 \( \mathbf{x} = [3, 4, 6]^T \)。

6.2.2 Gauss-Seidel 迭代法 (Gauss-Seidel iterative method)

Gauss-Seidel 迭代法是对 Jacobi 迭代法的一种改进。在 Jacobi 迭代法中，计算 \( \mathbf{x}^{(k+1)} \) 的分量时，使用的是 \( \mathbf{x}^{(k)} \) 的所有分量。而 Gauss-Seidel 迭代法在计算 \( x_i^{(k+1)} \) 时，尽可能使用最新的分量值，即使用已经计算出的 \( x_1^{(k+1)}, x_2^{(k+1)}, \dots, x_{i-1}^{(k+1)} \) 和未更新的 \( x_i^{(k)}, x_{i+1}^{(k)}, \dots, x_n^{(k)} \)。

与 Jacobi 迭代法类似，将系数矩阵 \( \mathbf{A} \) 分解为 \( \mathbf{A} = \mathbf{D} - \mathbf{L} - \mathbf{U} \)。将 \( (\mathbf{D} - \mathbf{L} - \mathbf{U}) \mathbf{x} = \mathbf{b} \) 改写为 \( (\mathbf{D} - \mathbf{L}) \mathbf{x} = \mathbf{U} \mathbf{x} + \mathbf{b} \)。假设矩阵 \( (\mathbf{D} - \mathbf{L}) \) 可逆（若 \( \mathbf{A} \) 的对角元素非零，则 \( (\mathbf{D} - \mathbf{L}) \) 可逆），则可得到 Gauss-Seidel 迭代格式：
\[ \mathbf{x}^{(k+1)} = (\mathbf{D} - \mathbf{L})^{-1} \mathbf{U} \mathbf{x}^{(k)} + (\mathbf{D} - \mathbf{L})^{-1} \mathbf{b} \]
令 \( \mathbf{B}_{GS} = (\mathbf{D} - \mathbf{L})^{-1} \mathbf{U} \) 和 \( \mathbf{f}_{GS} = (\mathbf{D} - \mathbf{L})^{-1} \mathbf{b} \)，则 Gauss-Seidel 迭代格式为：
\[ \mathbf{x}^{(k+1)} = \mathbf{B}_{GS} \mathbf{x}^{(k)} + \mathbf{f}_{GS}, \quad k = 0, 1, 2, \dots \]
矩阵 \( \mathbf{B}_{GS} \) 称为 Gauss-Seidel 迭代矩阵。

分量形式：Gauss-Seidel 迭代格式的分量形式为：
\[ x_i^{(k+1)} = \frac{1}{a_{ii}} \left( b_i - \sum_{j=1}^{i-1} a_{ij} x_j^{(k+1)} - \sum_{j=i+1}^{n} a_{ij} x_j^{(k)} \right), \quad i = 1, 2, \dots, n \]
计算 \( x_i^{(k+1)} \) 时，使用了已更新的分量 \( x_1^{(k+1)}, \dots, x_{i-1}^{(k+1)} \) 和未更新的分量 \( x_{i+1}^{(k)}, \dots, x_n^{(k)} \)。

收敛性条件：与 Jacobi 迭代法类似，Gauss-Seidel 迭代法收敛的充分必要条件是迭代矩阵 \( \mathbf{B}_{GS} \) 的谱半径 \( \rho(\mathbf{B}_{GS}) < 1 \)。

Gauss-Seidel 迭代法收敛的一些充分条件：

① 严格对角占优 (Strictly diagonally dominant)：如果系数矩阵 \( \mathbf{A} \) 满足行严格对角占优或列严格对角占优，则 Gauss-Seidel 迭代法收敛。

② 系数矩阵 \( \mathbf{A} \) 正定 (Positive definite) 或 对称正定 (Symmetric positive definite)：如果系数矩阵 \( \mathbf{A} \) 是对称正定矩阵，则 Gauss-Seidel 迭代法收敛。

Gauss-Seidel 迭代法与 Jacobi 迭代法的比较：

⚝ 收敛速度：在收敛的情况下，通常 Gauss-Seidel 迭代法比 Jacobi 迭代法收敛更快。在某些情况下，Jacobi 迭代法收敛，而 Gauss-Seidel 迭代法可能发散，反之亦然。但对于很多实际问题，如果两者都收敛，Gauss-Seidel 迭代法通常迭代次数更少。
⚝ 计算复杂度：每次迭代的计算量两者相近，主要取决于系数矩阵 \( \mathbf{A} \) 的稀疏性。
⚝ 存储需求：两者存储需求基本相同，主要存储系数矩阵 \( \mathbf{A} \) 和向量 \( \mathbf{b} \) 以及迭代向量。
⚝ 实现方式：Gauss-Seidel 迭代法可以“原地更新 (in-place update)”，即在迭代过程中直接更新 \( \mathbf{x}^{(k)} \) 的分量，不需要像 Jacobi 迭代法那样需要两个向量存储 \( \mathbf{x}^{(k)} \) 和 \( \mathbf{x}^{(k+1)} \)。这在一定程度上减少了内存访问和数据移动。

例 6.4: 用 Gauss-Seidel 迭代法求解例 6.3 中的线性方程组。
\[ \begin{cases} 4x_1 - x_2 - x_3 = 3 \\ -x_1 + 4x_2 - x_3 = 6 \\ -x_1 - x_2 + 4x_3 = 15 \end{cases} \]
取初始向量 \( \mathbf{x}^{(0)} = [0, 0, 0]^T \)，迭代精度 \( \epsilon = 0.01 \)。

解:
Gauss-Seidel 迭代格式为：
\[ \begin{cases} x_1^{(k+1)} = \frac{1}{4} (3 + x_2^{(k)} + x_3^{(k)}) \\ x_2^{(k+1)} = \frac{1}{4} (6 + x_1^{(k+1)} + x_3^{(k)}) \\ x_3^{(k+1)} = \frac{1}{4} (15 + x_1^{(k+1)} + x_2^{(k+1)}) \end{cases} \]
迭代过程如下：

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [0, 0, 0]^T \)
\[ \begin{cases} x_1^{(1)} = \frac{1}{4} (3 + 0 + 0) = 0.75 \\ x_2^{(1)} = \frac{1}{4} (6 + x_1^{(1)} + 0) = \frac{1}{4} (6 + 0.75 + 0) = 1.6875 \\ x_3^{(1)} = \frac{1}{4} (15 + x_1^{(1)} + x_2^{(1)}) = \frac{1}{4} (15 + 0.75 + 1.6875) = 4.359375 \end{cases} \]
\( \mathbf{x}^{(1)} = [0.75, 1.6875, 4.359375]^T \)

⚝ \(k=1\): \( \mathbf{x}^{(1)} = [0.75, 1.6875, 4.359375]^T \)
\[ \begin{cases} x_1^{(2)} = \frac{1}{4} (3 + 1.6875 + 4.359375) = 2.26171875 \\ x_2^{(2)} = \frac{1}{4} (6 + x_1^{(2)} + 4.359375) = \frac{1}{4} (6 + 2.26171875 + 4.359375) = 3.1552734375 \\ x_3^{(2)} = \frac{1}{4} (15 + x_1^{(2)} + x_2^{(2)}) = \frac{1}{4} (15 + 2.26171875 + 3.1552734375) = 5.054248046875 \end{cases} \]
\( \mathbf{x}^{(2)} = [2.26171875, 3.1552734375, 5.054248046875]^T \)

... (继续迭代，直到满足精度要求)

可以看到，Gauss-Seidel 迭代法比 Jacobi 迭代法收敛更快。例如，迭代 10 次左右，Gauss-Seidel 迭代法即可得到满足精度要求的近似解，而 Jacobi 迭代法需要更多次迭代。迭代 10 次后，得到近似解 \( \mathbf{x}^{(10)} \approx [2.9999, 3.9999, 5.9999]^T \)，同样接近精确解 \( \mathbf{x} = [3, 4, 6]^T \)。

6.3 特征值问题的数值方法 (Numerical Methods for Eigenvalue Problems)

本节介绍幂迭代法 (Power iteration method) 和反幂迭代法 (Inverse power iteration method)，用于数值求解矩阵的特征值 (eigenvalue) 和特征向量 (eigenvector)。特征值和特征向量在很多领域都有重要应用，例如振动分析、稳定性分析、量子力学和机器学习等。对于大型矩阵，直接计算特征值和特征向量的计算量很大，需要使用数值方法。

6.3.1 幂迭代法 (Power iteration method)

幂迭代法是一种计算矩阵主特征值（模最大的特征值）和对应特征向量的迭代方法。设 \( \mathbf{A} \in \mathbb{C}^{n \times n} \)，假设 \( \mathbf{A} \) 有 \(n\) 个线性无关的特征向量 \( \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \)，对应的特征值为 \( \lambda_1, \lambda_2, \dots, \lambda_n \)，且特征值按模从大到小排列：\( |\lambda_1| > |\lambda_2| \geq |\lambda_3| \geq \dots \geq |\lambda_n| \)。主特征值就是 \( \lambda_1 \)，对应的特征向量是 \( \mathbf{v}_1 \)。

幂迭代法的迭代步骤如下：

① 选择初始向量 \( \mathbf{x}^{(0)} \)。通常选择随机向量，或所有分量为 1 的向量，但要保证 \( \mathbf{x}^{(0)} \) 在主特征向量 \( \mathbf{v}_1 \) 方向上的分量不为零，即 \( \mathbf{x}^{(0)} \) 与 \( \mathbf{v}_1 \) 非正交。

② 迭代计算：
\[ \mathbf{y}^{(k+1)} = \mathbf{A} \mathbf{x}^{(k)}, \quad k = 0, 1, 2, \dots \]

③ 归一化：为了防止迭代向量的模趋于无穷大或零，每次迭代后对向量进行归一化处理。常用的归一化方法是 \(l_2\)-范数归一化：
\[ \mathbf{x}^{(k+1)} = \frac{\mathbf{y}^{(k+1)}}{\| \mathbf{y}^{(k+1)} \|_2} \]

④ 特征值估计：Rayleigh 商 (Rayleigh quotient) 可以用于估计特征值。主特征值 \( \lambda_1 \) 的近似值可以估计为：
\[ \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{y}^{(k+1)} \]

⑤ 迭代终止条件：当相邻两次迭代的特征值估计值之差 \( |\lambda^{(k+1)} - \lambda^{(k)}| \) 小于给定的精度 \( \epsilon \) 时，或迭代次数达到最大次数时，停止迭代。

收敛性分析：由于 \( |\lambda_1| > |\lambda_2| \geq \dots \geq |\lambda_n| \)，经过多次迭代后，\( \mathbf{x}^{(k)} \) 将趋近于主特征向量 \( \mathbf{v}_1 \)，\( \lambda^{(k)} \) 将趋近于主特征值 \( \lambda_1 \)。收敛速度取决于 \( |\lambda_2| / |\lambda_1| \) 的大小，比值越小，收敛越快。如果 \( |\lambda_1| = |\lambda_2| \) 或 \( \lambda_1 \) 是重特征值，则幂迭代法可能不收敛到唯一的特征向量。

算法步骤总结：

① 给定初始向量 \( \mathbf{x}^{(0)} \) 和精度 \( \epsilon \)，设置最大迭代次数 \( k_{\max} \)。

② For \( k = 0, 1, 2, \dots, k_{\max} \):
▮▮▮▮ⓑ 计算 \( \mathbf{y}^{(k+1)} = \mathbf{A} \mathbf{x}^{(k)} \)。
▮▮▮▮ⓒ 计算 \( \mathbf{x}^{(k+1)} = \frac{\mathbf{y}^{(k+1)}}{\| \mathbf{y}^{(k+1)} \|_2} \)。
▮▮▮▮ⓓ 计算 Rayleigh 商 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \)。
▮▮▮▮ⓔ 检查是否满足收敛条件，如 \( |\lambda^{(k+1)} - \lambda^{(k)}| < \epsilon \) 或达到最大迭代次数。若满足，则停止迭代，输出 \( \lambda^{(k+1)} \) 和 \( \mathbf{x}^{(k+1)} \)。

例 6.5: 用幂迭代法计算矩阵 \( \mathbf{A} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \) 的主特征值和对应的特征向量。取初始向量 \( \mathbf{x}^{(0)} = [1, 1]^T \)，迭代精度 \( \epsilon = 0.01 \)。

解:
迭代过程如下：

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [1, 1]^T \), \( \| \mathbf{x}^{(0)} \|_2 = \sqrt{2} \), \( \mathbf{x}^{(0)} = \frac{1}{\sqrt{2}} [1, 1]^T \approx [0.7071, 0.7071]^T \) (归一化初始向量)

⚝ \(k=1\): \( \mathbf{y}^{(1)} = \mathbf{A} \mathbf{x}^{(0)} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \), \( \| \mathbf{y}^{(1)} \|_2 = \sqrt{0.7071^2 + 0.7071^2} = 1 \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0.7071, 0.7071] \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = 1 \) (计算错误，重新计算 \( \mathbf{y}^{(1)} \), \( \lambda^{(1)} \))

\( \mathbf{y}^{(1)} = \mathbf{A} \mathbf{x}^{(0)} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \end{bmatrix} \), \( \| \mathbf{y}^{(1)} \|_2 = \sqrt{1^2 + 1^2} = \sqrt{2} \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix} \approx [0.7071, 0.7071]^T \)
\( \lambda^{(1)} = (\mathbf{x}^{(0)})^T \mathbf{y}^{(1)} / (\mathbf{x}^{(0)})^T \mathbf{x}^{(0)} = \frac{[1, 1] [1, 1]^T}{[1, 1] [1, 1]^T} = \frac{2}{2} = 1 \) (Rayleigh 商计算方式有误，应为 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \))

修正后的 Rayleigh 商计算：\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0.7071, 0.7071] \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = 1 \) (计算仍有误，再次检查)

更正 Rayleigh 商计算方法： \( \lambda^{(k+1)} = \frac{(\mathbf{x}^{(k)})^H \mathbf{A} \mathbf{x}^{(k)}}{(\mathbf{x}^{(k)})^H \mathbf{x}^{(k)}} \) 或更简便的 \( \lambda^{(k+1)} = \frac{(\mathbf{x}^{(k)})^H \mathbf{y}^{(k+1)}}{(\mathbf{x}^{(k)})^H \mathbf{x}^{(k)}} \) ，如果 \( \mathbf{x}^{(k)} \) 已归一化，则 \( \lambda^{(k+1)} = (\mathbf{x}^{(k)})^H \mathbf{y}^{(k+1)} \) 或 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \) 或 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{y}^{(k+1)} \) 。 使用 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^T \mathbf{A} \mathbf{x}^{(k+1)} \) 计算。

\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0.7071, 0.7071] \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = [0.7071, 0.7071] \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = 1 \) (仍然是 1，再次检查计算)

\( \mathbf{A} \mathbf{x}^{(1)} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} = 1 \cdot \mathbf{x}^{(1)} \). 特征值确实是 1，但这不是主特征值。 重新选择初始向量。

重新开始，初始向量 \( \mathbf{x}^{(0)} = [1, 0]^T \)。

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [1, 0]^T \), \( \| \mathbf{x}^{(0)} \|_2 = 1 \)

⚝ \(k=1\): \( \mathbf{y}^{(1)} = \mathbf{A} \mathbf{x}^{(0)} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 2 \\ -1 \end{bmatrix} \), \( \| \mathbf{y}^{(1)} \|_2 = \sqrt{2^2 + (-1)^2} = \sqrt{5} \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \frac{1}{\sqrt{5}} \begin{bmatrix} 2 \\ -1 \end{bmatrix} \approx [0.8944, -0.4472]^T \)
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0.8944, -0.4472] \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0.8944 \\ -0.4472 \end{bmatrix} \approx 2.8 \)

⚝ \(k=2\): \( \mathbf{y}^{(2)} = \mathbf{A} \mathbf{x}^{(1)} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0.8944 \\ -0.4472 \end{bmatrix} = \begin{bmatrix} 2.236 \\ -1.7888 \end{bmatrix} \), \( \| \mathbf{y}^{(2)} \|_2 = \sqrt{2.236^2 + (-1.7888)^2} \approx 2.854 \), \( \mathbf{x}^{(2)} = \frac{\mathbf{y}^{(2)}}{\| \mathbf{y}^{(2)} \|_2} \approx [0.7835, -0.6268]^T \)
\( \lambda^{(2)} = (\mathbf{x}^{(2)})^T \mathbf{A} \mathbf{x}^{(2)} \approx 2.975 \)

... (继续迭代)

经过多次迭代，特征值估计值将趋近于 3，特征向量趋近于 \( \frac{1}{\sqrt{2}} [1, -1]^T \) 或 \( \frac{1}{\sqrt{2}} [-1, 1]^T \)。矩阵 \( \mathbf{A} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \) 的特征值为 \( \lambda_1 = 3, \lambda_2 = 1 \)。主特征值是 3。

6.3.2 反幂迭代法 (Inverse power iteration method)

反幂迭代法用于计算矩阵模最小的特征值（绝对值最小的特征值）或指定特征值附近的特征值和对应的特征向量。反幂迭代法实际上是对矩阵 \( \mathbf{A}^{-1} \) 应用幂迭代法。

设 \( \mathbf{A} \in \mathbb{C}^{n \times n} \) 非奇异（可逆），特征值为 \( \lambda_1, \lambda_2, \dots, \lambda_n \)，特征向量为 \( \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \)。则 \( \mathbf{A}^{-1} \) 的特征值为 \( \frac{1}{\lambda_1}, \frac{1}{\lambda_2}, \dots, \frac{1}{\lambda_n} \)，特征向量不变，仍为 \( \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n \)。如果 \( |\lambda_1| > |\lambda_2| > \dots > |\lambda_n| > 0 \)，则 \( |\frac{1}{\lambda_n}| > |\frac{1}{\lambda_{n-1}}| > \dots > |\frac{1}{\lambda_1}| \)。矩阵 \( \mathbf{A}^{-1} \) 的主特征值是 \( \frac{1}{\lambda_n} \)，对应于矩阵 \( \mathbf{A} \) 的模最小的特征值 \( \lambda_n \)。

反幂迭代法的迭代步骤如下：

① 选择初始向量 \( \mathbf{x}^{(0)} \)。

② 迭代计算：求解线性方程组 \( \mathbf{A} \mathbf{y}^{(k+1)} = \mathbf{x}^{(k)} \)，得到 \( \mathbf{y}^{(k+1)} = \mathbf{A}^{-1} \mathbf{x}^{(k)} \)。

③ 归一化：\( \mathbf{x}^{(k+1)} = \frac{\mathbf{y}^{(k+1)}}{\| \mathbf{y}^{(k+1)} \|_2} \)。

④ 特征值估计：\( \mu^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A}^{-1} \mathbf{x}^{(k+1)} \) 或更方便计算的 \( \lambda^{(k+1)} = \frac{1}{\mu^{(k+1)}} = \frac{1}{(\mathbf{x}^{(k+1)})^H \mathbf{A}^{-1} \mathbf{x}^{(k+1)}} \)。 或者使用 Rayleigh 商估计 \( \lambda^{(k+1)} = \frac{(\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)}}{(\mathbf{x}^{(k+1)})^H \mathbf{x}^{(k+1)}} \approx (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \) (若 \( \mathbf{x}^{(k+1)} \) 已归一化)。

⑤ 迭代终止条件：与幂迭代法类似，当 \( |\lambda^{(k+1)} - \lambda^{(k)}| < \epsilon \) 或达到最大迭代次数时，停止迭代。

算法步骤总结：

① 给定初始向量 \( \mathbf{x}^{(0)} \) 和精度 \( \epsilon \)，设置最大迭代次数 \( k_{\max} \)。

② For \( k = 0, 1, 2, \dots, k_{\max} \):
▮▮▮▮ⓑ 求解线性方程组 \( \mathbf{A} \mathbf{y}^{(k+1)} = \mathbf{x}^{(k)} \)，得到 \( \mathbf{y}^{(k+1)} \)。
▮▮▮▮ⓒ 计算 \( \mathbf{x}^{(k+1)} = \frac{\mathbf{y}^{(k+1)}}{\| \mathbf{y}^{(k+1)} \|_2} \)。
▮▮▮▮ⓓ 计算特征值估计 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \)。
▮▮▮▮ⓔ 检查是否满足收敛条件，如 \( |\lambda^{(k+1)} - \lambda^{(k)}| < \epsilon \) 或达到最大迭代次数。若满足，则停止迭代，输出 \( \lambda^{(k+1)} \) 和 \( \mathbf{x}^{(k+1)} \)。

加速收敛的位移反幂迭代法 (Shifted Inverse Power Iteration)：为了计算指定特征值 \( \sigma \) 附近的特征值，可以使用位移反幂迭代法。选取位移量 \( \sigma \) 接近于要计算的特征值。对矩阵 \( (\mathbf{A} - \sigma \mathbf{I}) \) 应用反幂迭代法，实际上是求 \( (\mathbf{A} - \sigma \mathbf{I})^{-1} \) 的主特征值和特征向量。

如果 \( \lambda_i \) 是 \( \mathbf{A} \) 的特征值，则 \( \frac{1}{\lambda_i - \sigma} \) 是 \( (\mathbf{A} - \sigma \mathbf{I})^{-1} \) 的特征值。当 \( \sigma \) 接近于某个特征值 \( \lambda_j \) 时，\( |\lambda_j - \sigma| \) 很小，\( |\frac{1}{\lambda_j - \sigma}| \) 很大。因此，位移反幂迭代法可以快速收敛到 \( \mathbf{A} \) 的最接近 \( \sigma \) 的特征值 \( \lambda_j \) 和对应的特征向量。

位移反幂迭代法步骤：

① 选择初始向量 \( \mathbf{x}^{(0)} \)，位移量 \( \sigma \)。

② For \( k = 0, 1, 2, \dots, k_{\max} \):
▮▮▮▮ⓑ 求解线性方程组 \( (\mathbf{A} - \sigma \mathbf{I}) \mathbf{y}^{(k+1)} = \mathbf{x}^{(k)} \)，得到 \( \mathbf{y}^{(k+1)} \)。
▮▮▮▮ⓒ 归一化 \( \mathbf{x}^{(k+1)} = \frac{\mathbf{y}^{(k+1)}}{\| \mathbf{y}^{(k+1)} \|_2} \)。
▮▮▮▮ⓓ 计算特征值估计 \( \lambda^{(k+1)} = (\mathbf{x}^{(k+1)})^H \mathbf{A} \mathbf{x}^{(k+1)} \)。

③ 迭代终止条件同反幂迭代法。

例 6.6: 用反幂迭代法计算矩阵 \( \mathbf{A} = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \) 的模最小的特征值和对应的特征向量。取初始向量 \( \mathbf{x}^{(0)} = [1, 1]^T \)，迭代精度 \( \epsilon = 0.01 \)。

解:
迭代过程如下：

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [1, 1]^T \), \( \| \mathbf{x}^{(0)} \|_2 = \sqrt{2} \), \( \mathbf{x}^{(0)} = \frac{1}{\sqrt{2}} [1, 1]^T \approx [0.7071, 0.7071]^T \)

⚝ \(k=1\): 求解 \( \mathbf{A} \mathbf{y}^{(1)} = \mathbf{x}^{(0)} \)，即 \( \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} y_1^{(1)} \\ y_2^{(1)} \end{bmatrix} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)。解得 \( \mathbf{y}^{(1)} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)。\( \| \mathbf{y}^{(1)} \|_2 = 1 \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = 1 \)

(计算结果与幂迭代法相同，初始向量选择 \( [1, -1]^T \) 试试)

重新开始，初始向量 \( \mathbf{x}^{(0)} = [1, -1]^T \), \( \| \mathbf{x}^{(0)} \|_2 = \sqrt{2} \), \( \mathbf{x}^{(0)} = \frac{1}{\sqrt{2}} [1, -1]^T \approx [0.7071, -0.7071]^T \)

⚝ \(k=1\): 求解 \( \mathbf{A} \mathbf{y}^{(1)} = \mathbf{x}^{(0)} \)，即 \( \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} y_1^{(1)} \\ y_2^{(1)} \end{bmatrix} = \begin{bmatrix} 0.7071 \\ -0.7071 \end{bmatrix} \)。解得 \( \mathbf{y}^{(1)} = \begin{bmatrix} 0.0 \\ -0.7071 \end{bmatrix} \)。\( \| \mathbf{y}^{(1)} \|_2 = 0.7071 \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \begin{bmatrix} 0 \\ -1 \end{bmatrix} \) (归一化后取 \( [0, -1]^T \) 或 \( [0, 1]^T \))，取 \( \mathbf{x}^{(1)} = [0, 1]^T \)
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0, 1] \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0 \\ 1 \end{bmatrix} = 2 \) (计算有误，再次检查)

求解 \( \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} y_1^{(1)} \\ y_2^{(1)} \end{bmatrix} = \begin{bmatrix} 0.7071 \\ -0.7071 \end{bmatrix} \) 的过程：
\( 2y_1^{(1)} - y_2^{(1)} = 0.7071 \)
\( -y_1^{(1)} + 2y_2^{(1)} = -0.7071 \)
解得 \( y_1^{(1)} = 0, y_2^{(1)} = -0.7071 \)。\( \mathbf{y}^{(1)} = [0, -0.7071]^T \)。\( \| \mathbf{y}^{(1)} \|_2 = 0.7071 \)。\( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = [0, -1]^T \) 或 \( [0, 1]^T \)。取 \( \mathbf{x}^{(1)} = [0, 1]^T \)。
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = [0, 1] \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0 \\ 1 \end{bmatrix} = [0, 1] \begin{bmatrix} -1 \\ 2 \end{bmatrix} = 2 \). (仍然是 2，模最小特征值应该是 1)

再次检查特征值： \( \text{det}(\mathbf{A} - \lambda \mathbf{I}) = (2-\lambda)^2 - (-1)^2 = \lambda^2 - 4\lambda + 4 - 1 = \lambda^2 - 4\lambda + 3 = (\lambda - 1)(\lambda - 3) = 0 \)。特征值是 \( \lambda_1 = 3, \lambda_2 = 1 \)。模最小特征值是 1。反幂迭代法应该收敛到模最小特征值 1。

使用初始向量 \( \mathbf{x}^{(0)} = [1, 1]^T \) 进行反幂迭代。

⚝ \(k=0\): \( \mathbf{x}^{(0)} = [1, 1]^T \), \( \| \mathbf{x}^{(0)} \|_2 = \sqrt{2} \), \( \mathbf{x}^{(0)} = \frac{1}{\sqrt{2}} [1, 1]^T \approx [0.7071, 0.7071]^T \)

⚝ \(k=1\): 求解 \( \mathbf{A} \mathbf{y}^{(1)} = \mathbf{x}^{(0)} \)，即 \( \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} y_1^{(1)} \\ y_2^{(1)} \end{bmatrix} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)。解得 \( \mathbf{y}^{(1)} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)。\( \| \mathbf{y}^{(1)} \|_2 = 1 \), \( \mathbf{x}^{(1)} = \frac{\mathbf{y}^{(1)}}{\| \mathbf{y}^{(1)} \|_2} = \begin{bmatrix} 0.7071 \\ 0.7071 \end{bmatrix} \)
\( \lambda^{(1)} = (\mathbf{x}^{(1)})^T \mathbf{A} \mathbf{x}^{(1)} = 1 \)

反幂迭代法似乎收敛到特征值 1，对应的特征向量是 \( \frac{1}{\sqrt{2}} [1, 1]^T \)。

反幂迭代法计算模最小特征值是正确的。例 6.6 计算结果表明，反幂迭代法可以有效计算矩阵的模最小特征值和对应的特征向量。对于更复杂的问题，反幂迭代法和位移反幂迭代法是非常重要的数值方法。

数值线性代数是线性代数应用的重要分支，本章介绍的向量范数、矩阵范数、迭代法解线性方程组以及特征值问题的数值方法是数值线性代数的基础内容。这些方法在科学计算、工程技术和数据分析等领域有着广泛的应用。

7. 应用 (Applications)

本章旨在展示线性代数与矩阵分析在多个重要领域的实际应用价值，包括但不限于计算机图形学 💻、机器学习 🤖 和优化问题 ⚙️。通过具体的案例分析，我们将揭示线性代数如何从理论走向实践，成为解决复杂问题的强大工具。学习本章内容，读者将能够体会到线性代数不仅仅是一门抽象的数学学科，更是连接数学理论与现实世界的桥梁，为技术创新和问题解决提供坚实的数学基础。

7.1 线性代数在计算机图形学中的应用 (Applications in Computer Graphics)

计算机图形学是利用计算机生成和处理图像的学科，其核心 задача 之一是如何在二维屏幕上 отображать 三维物体。线性代数在 компьютерной графике 中扮演着至关重要的角色，从最基本的坐标变换到复杂的光照 моделирование，都离不开线性代数的理论和方法。本节将重点介绍线性代数在计算机图形学中的两个核心应用：坐标变换和图形渲染。

7.1.1 坐标变换与矩阵 (Coordinate transformation and matrices)

在计算机图形学中，为了描述物体在三维空间中的位置和姿态，并最终在二维屏幕上显示出来，需要进行一系列的坐标变换 (coordinate transformation)。这些变换包括平移 (translation)、旋转 (rotation)、缩放 (scaling) 等。线性代数提供了一种简洁而有效的方法来表示和操作这些变换，那就是使用矩阵 (matrices)。

① 齐次坐标 (Homogeneous Coordinates)

为了用矩阵统一表示平移、旋转和缩放等变换，计算机图形学中广泛使用齐次坐标 (homogeneous coordinates)。对于三维空间中的点 \( (x, y, z) \)，其齐次坐标表示为 \( (x, y, z, 1) \)。对于方向向量 \( (x, y, z) \)，其齐次坐标表示为 \( (x, y, z, 0) \)。使用四维齐次坐标，可以将平移、旋转和缩放都表示为 4x4 的矩阵乘法。

② 基本变换矩阵 (Basic Transformation Matrices)

⚝ 平移矩阵 (Translation Matrix)：将点沿着 \(x\), \(y\), \(z\) 轴分别平移 \(t_x\), \(t_y\), \(t_z\) 距离的平移矩阵 \( \mathbf{T} \) 可以表示为：
\[ \mathbf{T} = \begin{pmatrix} 1 & 0 & 0 & t_x \\ 0 & 1 & 0 & t_y \\ 0 & 0 & 1 & t_z \\ 0 & 0 & 0 & 1 \end{pmatrix} \]
对于点 \( \mathbf{v} = (x, y, z, 1)^T \)，平移后的点 \( \mathbf{v'} \) 可以通过矩阵乘法得到：\( \mathbf{v'} = \mathbf{T} \mathbf{v} \)。

⚝ 缩放矩阵 (Scaling Matrix)：沿着 \(x\), \(y\), \(z\) 轴分别缩放 \(s_x\), \(s_y\), \(s_z\) 倍的缩放矩阵 \( \mathbf{S} \) 可以表示为：
\[ \mathbf{S} = \begin{pmatrix} s_x & 0 & 0 & 0 \\ 0 & s_y & 0 & 0 \\ 0 & 0 & s_z & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix} \]
对于点 \( \mathbf{v} = (x, y, z, 1)^T \)，缩放后的点 \( \mathbf{v'} \) 可以通过矩阵乘法得到：\( \mathbf{v'} = \mathbf{S} \mathbf{v} \)。

⚝ 旋转矩阵 (Rotation Matrix)：绕 \(x\), \(y\), \(z\) 轴旋转 \( \theta \) 角的旋转矩阵 \( \mathbf{R}_x \), \( \mathbf{R}_y \), \( \mathbf{R}_z \) 分别为：
\[ \mathbf{R}_x(\theta) = \begin{pmatrix} 1 & 0 & 0 & 0 \\ 0 & \cos\theta & -\sin\theta & 0 \\ 0 & \sin\theta & \cos\theta & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}, \quad \mathbf{R}_y(\theta) = \begin{pmatrix} \cos\theta & 0 & \sin\theta & 0 \\ 0 & 1 & 0 & 0 \\ -\sin\theta & 0 & \cos\theta & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}, \quad \mathbf{R}_z(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta & 0 & 0 \\ \sin\theta & \cos\theta & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix} \]
同样，旋转后的点 \( \mathbf{v'} \) 可以通过矩阵乘法得到：例如绕 \(z\) 轴旋转，则 \( \mathbf{v'} = \mathbf{R}_z(\theta) \mathbf{v} \)。

③ 复合变换 (Composite Transformations)

通过矩阵乘法的结合律，可以将多个基本变换复合起来。例如，先旋转再平移的变换，可以通过先计算旋转矩阵和位移矩阵的乘积，然后用得到的复合变换矩阵乘以顶点坐标来实现。需要注意的是，矩阵乘法不满足交换律，因此变换的顺序会影响最终结果。通常，复合变换的顺序是从右向左读取，即最右侧的变换矩阵先应用。

④ 坐标系统 (Coordinate Systems)

在计算机图形学中，常用的坐标系统包括：

⚝ 模型坐标系 (Model Coordinate System)：也称为局部坐标系 (local coordinate system)，每个模型都有自己的坐标系，简化了模型自身的定义和设计。
⚝ 世界坐标系 (World Coordinate System)：场景中所有物体都放置在同一个世界坐标系中，作为场景的全局参考系。
⚝ 视图坐标系 (View Coordinate System)：也称为相机坐标系 (camera coordinate system) 或眼睛坐标系 (eye coordinate system)，以相机的位置和方向为参考，从相机的角度观察场景。
⚝ 裁剪坐标系 (Clip Coordinate System)：在投影变换之后，用于裁剪视锥体 (view frustum) 之外的几何体。
⚝ 规范化设备坐标系 (Normalized Device Coordinate System, NDC)：将裁剪坐标系下的坐标规范化到 \([-1, 1]^3\) 的立方体内。
⚝ 屏幕坐标系 (Screen Coordinate System)：最终将 NDC 坐标映射到屏幕像素坐标，用于在屏幕上显示。

坐标变换的过程就是将物体从一个坐标系转换到另一个坐标系的过程，这个过程正是通过矩阵乘法来实现的。例如，模型变换 (model transformation) 是将物体从模型坐标系变换到世界坐标系；视图变换 (view transformation) 是将世界坐标系变换到视图坐标系；投影变换 (projection transformation) 是将视图坐标系变换到裁剪坐标系。

7.1.2 图形渲染中的矩阵运算 (Matrix operations in graphics rendering)

图形渲染 (graphics rendering) 是将三维场景转换为二维图像的过程。矩阵运算在图形渲染流水线 (graphics rendering pipeline) 的各个阶段都发挥着核心作用。典型的渲染流水线包括以下几个主要阶段：

① 模型变换 (Model Transformation)

模型变换阶段负责将模型从其局部坐标系转换到世界坐标系。这通常涉及到平移、旋转和缩放等操作，通过模型矩阵 (model matrix) \( \mathbf{M}_{model} \) 来实现。对于模型上的每个顶点 \( \mathbf{v}_{model} \)，其在世界坐标系下的坐标 \( \mathbf{v}_{world} \) 可以计算为：
\[ \mathbf{v}_{world} = \mathbf{M}_{model} \mathbf{v}_{model} \]

② 视图变换 (View Transformation)

视图变换阶段将场景从世界坐标系转换到视图坐标系，模拟相机拍摄的过程。视图矩阵 (view matrix) \( \mathbf{M}_{view} \) 由相机的位置、朝向和向上方向决定。世界坐标系下的顶点 \( \mathbf{v}_{world} \) 在视图坐标系下的坐标 \( \mathbf{v}_{view} \) 可以计算为：
\[ \mathbf{v}_{view} = \mathbf{M}_{view} \mathbf{v}_{world} \]

③ 投影变换 (Projection Transformation)

投影变换将三维场景投影到二维 плоскость 上，模拟人眼的透视效果或正交投影效果。常用的投影方式有两种：

⚝ 透视投影 (Perspective Projection)：模拟人眼或相机成像，远处的物体看起来更小，产生近大远小的透视效果。透视投影矩阵 \( \mathbf{M}_{persp} \) 可以将视锥体 (frustum) 变换为一个立方体。
⚝ 正交投影 (Orthographic Projection)：平行线投影后仍然平行，没有近大远小的效果，常用于工程图纸或 2D 游戏。正交投影矩阵 \( \mathbf{M}_{ortho} \) 可以将一个长方体变换为一个立方体。

视图坐标系下的顶点 \( \mathbf{v}_{view} \) 在裁剪坐标系下的坐标 \( \mathbf{v}_{clip} \) 可以计算为：
\[ \mathbf{v}_{clip} = \mathbf{M}_{proj} \mathbf{v}_{view} \]
其中 \( \mathbf{M}_{proj} \) 为透视投影矩阵 \( \mathbf{M}_{persp} \) 或正交投影矩阵 \( \mathbf{M}_{ortho} \)。

④ 裁剪 (Clipping)

裁剪阶段将位于视锥体之外的几何图元 (primitives) 裁剪掉，只保留视锥体内的部分。裁剪操作在裁剪坐标系下进行，通常基于 \(w\) 分量进行裁剪。

⑤ 规范化设备坐标变换 (NDC Transformation)

在裁剪之后，需要将裁剪坐标系下的坐标转换为规范化设备坐标 (NDC)。NDC 坐标的 \(x\), \(y\), \(z\) 分量都在 \([-1, 1]\) 范围内。NDC 变换是一个简单的缩放过程。

⑥ 视口变换 (Viewport Transformation)

视口变换将 NDC 坐标映射到屏幕坐标系 (screen coordinate system)。屏幕坐标系是以像素为单位的二维坐标系，原点通常在屏幕左上角或左下角。视口变换包括缩放和平移操作，将 NDC 坐标范围 \([-1, 1]^2\) 映射到屏幕像素坐标范围 \([0, width] \times [0, height]\)。

⑦ 光栅化 (Rasterization)

光栅化阶段将经过变换和裁剪后的几何图元转换为屏幕上的像素 (pixels)。对于每个图元，光栅化器 (rasterizer) 确定哪些像素被覆盖，并计算每个像素的颜色和深度值等信息。

在整个渲染流水线中，矩阵运算贯穿始终，从模型变换、视图变换、投影变换，到最后的视口变换，都离不开矩阵乘法。掌握线性代数及其矩阵运算，对于理解和实现计算机图形学算法至关重要。

7.2 线性代数在机器学习中的应用 (Applications in Machine Learning)

机器学习是人工智能的核心领域之一，旨在让计算机系统从数据中学习规律和知识，从而实现智能化的预测、决策和控制。线性代数是机器学习的基石，几乎所有的机器学习算法都涉及到大量的线性代数运算。本节将介绍线性代数在机器学习中的两个典型应用：线性回归和主成分分析 (PCA)。

7.2.1 线性回归与最小二乘法 (Linear regression and least squares method)

线性回归 (linear regression) 是机器学习中最基础和最重要的算法之一，用于建立输入变量 (特征) 和输出变量 (目标) 之间的线性关系模型。给定一组训练数据 \( \{(\mathbf{x}_i, y_i)\}_{i=1}^n \)，其中 \( \mathbf{x}_i \in \mathbb{R}^p \) 是 \(p\) 维特征向量，\( y_i \in \mathbb{R} \) 是目标值。线性回归模型假设输出 \(y\) 是输入 \( \mathbf{x} \) 的线性函数：
\[ y = f(\mathbf{x}) = \mathbf{w}^T \mathbf{x} + b \]
其中 \( \mathbf{w} \in \mathbb{R}^p \) 是权重向量，\( b \in \mathbb{R} \) 是偏置项。我们的目标是通过训练数据学习到最优的权重向量 \( \mathbf{w} \) 和偏置项 \( b \)。

① 模型表示 (Model Representation)

为了方便使用矩阵表示，我们通常将偏置项 \(b\) 吸收到权重向量中。具体做法是在特征向量 \( \mathbf{x}_i \) 的末尾添加一个常数 1，得到增广特征向量 \( \mathbf{\tilde{x}}_i = (\mathbf{x}_i^T, 1)^T \in \mathbb{R}^{p+1} \)，同时将权重向量 \( \mathbf{w} \) 扩展为 \( \mathbf{\tilde{w}} = (\mathbf{w}^T, b)^T \in \mathbb{R}^{p+1} \)。这样，线性回归模型可以简化为：
\[ y = f(\mathbf{x}) = \mathbf{\tilde{w}}^T \mathbf{\tilde{x}} \]
对于所有 \(n\) 个训练样本，我们可以将输入特征和输出目标分别表示为矩阵 \( \mathbf{X} \) 和向量 \( \mathbf{y} \)：
\[ \mathbf{X} = \begin{pmatrix} \mathbf{\tilde{x}}_1^T \\ \mathbf{\tilde{x}}_2^T \\ \vdots \\ \mathbf{\tilde{x}}_n^T \end{pmatrix} = \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1p} & 1 \\ x_{21} & x_{22} & \cdots & x_{2p} & 1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{np} & 1 \end{pmatrix} \in \mathbb{R}^{n \times (p+1)}, \quad \mathbf{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix} \in \mathbb{R}^n \]
则线性回归模型可以用矩阵形式表示为：
\[ \mathbf{y} = \mathbf{X} \mathbf{\tilde{w}} + \mathbf{e} \]
其中 \( \mathbf{e} \in \mathbb{R}^n \) 是误差向量，表示模型预测值与真实值之间的差异。

② 最小二乘法 (Least Squares Method)

为了求解最优的权重向量 \( \mathbf{\tilde{w}} \)，我们通常采用最小二乘法 (least squares method)。最小二乘法的目标是最小化预测值与真实值之间的平方误差和，即损失函数 (loss function)：
\[ J(\mathbf{\tilde{w}}) = \| \mathbf{y} - \mathbf{X} \mathbf{\tilde{w}} \|_2^2 = (\mathbf{y} - \mathbf{X} \mathbf{\tilde{w}})^T (\mathbf{y} - \mathbf{X} \mathbf{\tilde{w}}) \]
我们的目标是找到 \( \mathbf{\tilde{w}} \) 使得 \( J(\mathbf{\tilde{w}}) \) 最小。这是一个无约束优化问题，可以通过求导并令导数为零来求解。对 \( J(\mathbf{\tilde{w}}) \) 关于 \( \mathbf{\tilde{w}} \) 求导，并令导数为零：
\[ \nabla_{\mathbf{\tilde{w}}} J(\mathbf{\tilde{w}}) = -2 \mathbf{X}^T (\mathbf{y} - \mathbf{X} \mathbf{\tilde{w}}) = \mathbf{0} \]
整理得到正规方程 (normal equation)：
\[ \mathbf{X}^T \mathbf{X} \mathbf{\tilde{w}} = \mathbf{X}^T \mathbf{y} \]
如果矩阵 \( \mathbf{X}^T \mathbf{X} \) 可逆 (即正定)，则最优解 \( \mathbf{\tilde{w}}^* \) 可以表示为：
\[ \mathbf{\tilde{w}}^* = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]
矩阵 \( (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \) 称为 \( \mathbf{X} \) 的伪逆 (pseudo-inverse)，通常记为 \( \mathbf{X}^\dagger \)。因此，最小二乘解可以表示为：
\[ \mathbf{\tilde{w}}^* = \mathbf{X}^\dagger \mathbf{y} \]
当矩阵 \( \mathbf{X}^T \mathbf{X} \) 不可逆时，例如当特征维度 \(p\) 大于样本数量 \(n\) 时，或者特征之间存在多重共线性 (multicollinearity) 时，正规方程的解不唯一。此时可以使用奇异值分解 (SVD) 等方法求解最小二乘问题。

③ 几何解释 (Geometric Interpretation)

从几何角度看，线性回归的最小二乘法可以理解为将目标向量 \( \mathbf{y} \) 投影到由特征矩阵 \( \mathbf{X} \) 的列向量张成的子空间 (列空间) 上。投影向量 \( \mathbf{\hat{y}} = \mathbf{X} \mathbf{\tilde{w}}^* \) 是列空间中最接近 \( \mathbf{y} \) 的向量，误差向量 \( \mathbf{e} = \mathbf{y} - \mathbf{\hat{y}} \) 与列空间正交。

线性回归和最小二乘法是机器学习中最基本和最重要的线性代数应用之一，广泛应用于 различных 预测和建模问题中。

7.2.2 主成分分析 (PCA - Principal Component Analysis)

主成分分析 (Principal Component Analysis, PCA) 是一种常用的降维 (dimensionality reduction) 技术，旨在通过线性变换将高维数据投影到低维空间，同时尽可能保留原始数据的主要信息。PCA 的核心思想是找到数据中方差最大的方向 (主成分)，并沿着这些方向投影数据。

① PCA 的目标 (Goal of PCA)

给定一组高维数据 \( \{\mathbf{x}_i\}_{i=1}^n \)，其中 \( \mathbf{x}_i \in \mathbb{R}^p \)，PCA 的目标是找到一组 \(d\) 维正交基 \( \{\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_d\} \)，其中 \( d < p \)，使得将原始数据投影到这组基向量所张成的子空间后，数据在该子空间中的方差最大化，从而实现降维。

② PCA 的步骤 (Steps of PCA)

⚝ 数据中心化 (Data Centering)：首先对原始数据进行中心化，使得每个特征的均值为零。设原始数据矩阵为 \( \mathbf{X} = [\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n]^T \in \mathbb{R}^{n \times p} \)，计算每个特征的均值，并从原始数据中减去均值，得到中心化后的数据矩阵 \( \mathbf{\bar{X}} \)。
\[ \bar{\mathbf{x}}_i = \mathbf{x}_i - \frac{1}{n} \sum_{j=1}^n \mathbf{x}_j, \quad \mathbf{\bar{X}} = [\bar{\mathbf{x}}_1, \bar{\mathbf{x}}_2, \ldots, \bar{\mathbf{x}}_n]^T \]

⚝ 计算协方差矩阵 (Covariance Matrix)：计算中心化后数据的协方差矩阵 \( \mathbf{C} \)。
\[ \mathbf{C} = \frac{1}{n-1} \mathbf{\bar{X}}^T \mathbf{\bar{X}} \in \mathbb{R}^{p \times p} \]
协方差矩阵 \( \mathbf{C} \) 是一个对称半正定矩阵，反映了数据各个维度之间的相关性。

⚝ 特征值分解或奇异值分解 (Eigenvalue Decomposition or Singular Value Decomposition)：对协方差矩阵 \( \mathbf{C} \) 进行特征值分解 (eigenvalue decomposition, EVD) 或奇异值分解 (singular value decomposition, SVD)。

▮▮▮▮⚝ 特征值分解 (EVD)：对协方差矩阵 \( \mathbf{C} \) 进行特征值分解，得到特征值 \( \{\lambda_1, \lambda_2, \ldots, \lambda_p\} \) 和对应的特征向量 \( \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\} \)。将特征值从大到小排序，选择前 \(d\) 个最大的特征值对应的特征向量 \( \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_d\} \) 作为主成分。

▮▮▮▮⚝ 奇异值分解 (SVD)：对中心化后的数据矩阵 \( \mathbf{\bar{X}} \) 进行奇异值分解，得到 \( \mathbf{\bar{X}} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T \)，其中 \( \mathbf{V} = [\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p] \) 的列向量 \( \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\} \) 是右奇异向量，也是主成分的方向。奇异值 \( \{\sigma_1, \sigma_2, \ldots, \sigma_p\} \) 的平方与协方差矩阵的特征值成正比。选择前 \(d\) 个最大的奇异值对应的右奇异向量 \( \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_d\} \) 作为主成分。

⚝ 降维投影 (Dimensionality Reduction Projection)：将原始数据投影到由前 \(d\) 个主成分张成的子空间中。投影矩阵 \( \mathbf{P} = [\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_d] \in \mathbb{R}^{p \times d} \)。对于中心化后的数据点 \( \bar{\mathbf{x}}_i \)，其降维后的表示 \( \mathbf{z}_i \in \mathbb{R}^d \) 为：
\[ \mathbf{z}_i = \mathbf{P}^T \bar{\mathbf{x}}_i = \begin{pmatrix} \mathbf{v}_1^T \\ \mathbf{v}_2^T \\ \vdots \\ \mathbf{v}_d^T \end{pmatrix} \bar{\mathbf{x}}_i \]
降维后的数据矩阵 \( \mathbf{Z} = [\mathbf{z}_1, \mathbf{z}_2, \ldots, \mathbf{z}_n]^T \in \mathbb{R}^{n \times d} \)。

③ 方差解释率 (Variance Explained Ratio)

为了评估降维效果，可以使用方差解释率 (variance explained ratio)。对于 PCA，每个主成分 \( \mathbf{v}_j \) 的方差解释率可以定义为对应的特征值 \( \lambda_j \) (或奇异值的平方 \( \sigma_j^2 \)) 占所有特征值之和的比例。前 \(d\) 个主成分的累计方差解释率可以计算为：
\[ \text{Explained Variance Ratio} = \frac{\sum_{j=1}^d \lambda_j}{\sum_{j=1}^p \lambda_j} = \frac{\sum_{j=1}^d \sigma_j^2}{\sum_{j=1}^p \sigma_j^2} \]
累计方差解释率越高，说明降维后保留的信息越多。通常选择累计方差解释率达到一定阈值 (如 90% 或 95%) 的前 \(d\) 个主成分。

PCA 是一种非常有用的降维技术，广泛应用于数据压缩、特征提取、可视化等领域。它通过线性代数中的特征值分解或奇异值分解，有效地提取数据的主要特征，降低数据的维度，同时保留尽可能多的信息。

7.3 线性代数在优化问题中的应用 (Applications in Optimization Problems)

优化问题 (optimization problems) 广泛存在于科学研究、工程应用和 экономика 等领域，旨在从所有可能的方案中找到最优的 решения，使得目标函数 (objective function) 达到最小值或最大值。线性代数在优化问题中扮演着重要的角色，不仅提供了解析解的方法，也为数值优化算法的设计和分析提供了理论基础。本节将介绍线性代数在优化问题中的两个应用：线性规划和最优化方法中的矩阵分析。

7.3.1 线性规划 (Linear programming)

线性规划 (Linear Programming, LP) 是一类特殊的优化问题，其目标函数和约束条件都是线性的。线性规划问题在运营研究、资源分配、生产计划、 транспортная логистика 等领域有广泛应用。

① 线性规划的标准形式 (Standard Form of Linear Programming)

线性规划问题的标准形式通常表示为：
\[ \begin{aligned} \text{minimize} \quad & \mathbf{c}^T \mathbf{x} \\ \text{subject to} \quad & \mathbf{A} \mathbf{x} = \mathbf{b} \\ & \mathbf{x} \ge \mathbf{0} \end{aligned} \]
其中 \( \mathbf{x} \in \mathbb{R}^n \) 是决策变量向量，\( \mathbf{c} \in \mathbb{R}^n \) 是成本向量，\( \mathbf{A} \in \mathbb{R}^{m \times n} \) 是约束矩阵，\( \mathbf{b} \in \mathbb{R}^m \) 是资源向量，\( \mathbf{0} \) 是零向量，\( \mathbf{x} \ge \mathbf{0} \) 表示 \( \mathbf{x} \) 的每个分量都非负。目标是最小化线性目标函数 \( \mathbf{c}^T \mathbf{x} \)，同时满足线性等式约束 \( \mathbf{A} \mathbf{x} = \mathbf{b} \) 和非负约束 \( \mathbf{x} \ge \mathbf{0} \)。

② 单纯形法 (Simplex Method)

单纯形法 (simplex method) 是一种经典的求解线性规划问题的迭代算法。其基本思想是从可行域 (feasible region) 的一个顶点 (基本可行解) 出发，沿着可行域的边界移动到相邻的顶点，使得目标函数值不断改进 (最小化或最大化)，直到达到最优解。

单纯形法的核心步骤包括：

⚝ 将线性规划问题转化为标准形式。
⚝ 找到一个初始基本可行解。
⚝ 迭代改进基本可行解：
▮▮▮▮⚝ 选择一个非基变量 (entering variable) 进入基变量集合，使得目标函数值改进。
▮▮▮▮⚝ 选择一个基变量 (leaving variable) 离开基变量集合，保持解的可行性。
▮▮▮▮⚝ 更新基变量集合和基本可行解。
⚝ 最优性检验：判断当前基本可行解是否为最优解。如果满足最优性条件，则算法终止；否则，继续迭代。

单纯形法的每一步迭代都涉及到线性方程组的求解和矩阵运算，例如高斯消元法 (Gaussian elimination) 或 LU 分解 (LU decomposition) 可以用于求解线性方程组。

③ 对偶理论 (Duality Theory)

线性规划存在对偶理论 (duality theory)，每个线性规划问题 (原问题) 都对应一个对偶问题。对偶问题从另一个角度描述了原问题，并且原问题和对偶问题之间存在密切的关系。求解对偶问题有时比求解原问题更容易。

线性规划的对偶问题可以表示为：
\[ \begin{aligned} \text{maximize} \quad & \mathbf{b}^T \mathbf{y} \\ \text{subject to} \quad & \mathbf{A}^T \mathbf{y} \le \mathbf{c} \\ & \mathbf{y} \ge \mathbf{0} \end{aligned} \]
其中 \( \mathbf{y} \in \mathbb{R}^m \) 是对偶变量向量。对偶理论表明，如果原问题和对偶问题都有可行解，则它们的最优目标函数值相等。

线性规划及其解法是线性代数在优化问题中的重要应用，为解决资源优化配置、生产计划制定等实际问题提供了有效的方法。

7.3.2 最优化方法中的矩阵分析 (Matrix analysis in optimization methods)

在更广泛的最优化方法 (optimization methods) 中，特别是在求解非线性优化问题时，矩阵分析 (matrix analysis) 也扮演着关键角色。许多优化算法，如梯度下降法 (gradient descent method)、牛顿法 (Newton's method)、拟牛顿法 (quasi-Newton methods) 等，都涉及到矩阵的计算和分析。

① 梯度下降法 (Gradient Descent Method)

梯度下降法是一种常用的求解无约束优化问题的迭代算法。对于目标函数 \( f(\mathbf{x}) \)，梯度下降法的迭代公式为：
\[ \mathbf{x}_{k+1} = \mathbf{x}_k - \alpha_k \nabla f(\mathbf{x}_k) \]
其中 \( \mathbf{x}_k \) 是第 \(k\) 次迭代的解，\( \nabla f(\mathbf{x}_k) \) 是目标函数在 \( \mathbf{x}_k \) 处的梯度 (gradient)，\( \alpha_k > 0 \) 是步长 (step size) 或学习率 (learning rate)。梯度 \( \nabla f(\mathbf{x}_k) \) 是一个向量，指向函数值增长最快的方向，负梯度方向 \( -\nabla f(\mathbf{x}_k) \) 是函数值下降最快的方向。

梯度下降法的收敛速度和稳定性与步长的选择以及目标函数的性质有关。矩阵分析可以用于分析梯度下降法的收敛性，例如，当目标函数是凸函数且 Lipschitz 连续时，梯度下降法在适当的步长下可以收敛到全局最优解。

② 牛顿法 (Newton's Method)

牛顿法是一种收敛速度更快的优化算法，尤其是在接近最优解时。牛顿法的迭代公式为：
\[ \mathbf{x}_{k+1} = \mathbf{x}_k - \mathbf{H}_f(\mathbf{x}_k)^{-1} \nabla f(\mathbf{x}_k) \]
其中 \( \mathbf{H}_f(\mathbf{x}_k) \) 是目标函数 \( f(\mathbf{x}) \) 在 \( \mathbf{x}_k \) 处的 Hessian 矩阵 (Hessian matrix)，即二阶偏导数矩阵。Hessian 矩阵描述了目标函数在局部区域的曲率信息。\( \mathbf{H}_f(\mathbf{x}_k)^{-1} \) 是 Hessian 矩阵的逆矩阵。

牛顿法的每一步迭代需要计算梯度 \( \nabla f(\mathbf{x}_k) \)、Hessian 矩阵 \( \mathbf{H}_f(\mathbf{x}_k) \) 以及求解线性方程组 \( \mathbf{H}_f(\mathbf{x}_k) \mathbf{d} = -\nabla f(\mathbf{x}_k) \)，得到搜索方向 \( \mathbf{d} = -\mathbf{H}_f(\mathbf{x}_k)^{-1} \nabla f(\mathbf{x}_k) \)。求解线性方程组可以使用 LU 分解、QR 分解等线性代数方法。

③ 拟牛顿法 (Quasi-Newton Methods)

牛顿法收敛速度快，但计算 Hessian 矩阵和其逆矩阵的计算量较大。拟牛顿法通过近似 Hessian 矩阵或其逆矩阵，降低计算复杂度，同时保持较快的收敛速度。常用的拟牛顿法包括 DFP 算法、BFGS 算法、L-BFGS 算法等。

拟牛顿法通过迭代更新 Hessian 矩阵的近似矩阵 \( \mathbf{B}_k \) 或其逆矩阵的近似矩阵 \( \mathbf{H}_k \)。例如，BFGS 算法的更新公式为：
\[ \mathbf{H}_{k+1} = (\mathbf{I} - \rho_k \mathbf{s}_k \mathbf{y}_k^T) \mathbf{H}_k (\mathbf{I} - \rho_k \mathbf{y}_k \mathbf{s}_k^T) + \rho_k \mathbf{s}_k \mathbf{s}_k^T \]
其中 \( \mathbf{s}_k = \mathbf{x}_{k+1} - \mathbf{x}_k \)，\( \mathbf{y}_k = \nabla f(\mathbf{x}_{k+1}) - \nabla f(\mathbf{x}_k) \)，\( \rho_k = 1 / (\mathbf{y}_k^T \mathbf{s}_k) \)。

矩阵分析在最优化方法中不仅用于算法的实现，也用于算法的理论分析。例如，通过分析 Hessian 矩阵的特征值，可以判断目标函数在局部区域的凸性，从而分析优化算法的收敛性。条件数 (condition number) 等矩阵性质也与优化算法的收敛速度和数值稳定性密切相关。

总而言之，线性代数与矩阵分析是计算机图形学、机器学习和优化问题等多个领域不可或缺的数学工具。掌握线性代数的基本理论和方法，能够帮助我们更好地理解和解决这些领域中的实际问题，推动技术创新和发展。

8. 高级主题 (Advanced Topics)

本章旨在引领读者探索线性代数与矩阵分析中更为深邃和前沿的领域。在掌握了本书前七章所介绍的基础理论和方法之后，本章将展开介绍矩阵的谱理论、克罗内克积与向量化以及张量初步等高级主题。这些内容不仅是现代矩阵分析的重要组成部分，也是理解和应用线性代数于诸多科学与工程领域，特别是数据科学、机器学习和信号处理等领域的关键。通过本章的学习，读者将能够拓展知识视野，为进一步深入研究和应用线性代数奠定坚实的基础。

8.1 矩阵的谱理论 (Spectral Theory of Matrices)

矩阵的谱理论是研究矩阵特征值、特征向量及其相关性质的理论体系，是矩阵分析的核心内容之一。本节将介绍矩阵谱理论中的两个重要概念：谱分解 (Spectral Decomposition) 和矩阵函数 (Matrix Functions)。谱分解能够将某些类型的矩阵分解为与其特征值和特征向量相关的简单形式，从而简化矩阵的分析和计算。矩阵函数则是将标量函数推广到矩阵上的概念，为解决线性系统、微分方程等问题提供了强有力的工具。深入理解矩阵的谱理论，有助于从更本质的层面把握矩阵的性质，并为高级矩阵分析方法的学习奠定基础。

8.1.1 谱分解 (Spectral decomposition)

谱分解，又称特征分解 (Eigen decomposition)，是一种将矩阵分解为由其特征值和特征向量构成的特定形式的方法。这种分解方式揭示了矩阵内在的“谱”结构，即矩阵特征值的集合。谱分解定理 (Spectral Theorem) 是谱理论的基石，它指出，对于某些特殊类型的矩阵（如 Hermitian 矩阵，在实数域对应对称矩阵），可以进行谱分解。

① 谱分解定理：
设 \( A \) 是一个 \( n \times n \) 的 Hermitian 矩阵（如果 \( A \) 是实对称矩阵，则为实对称矩阵）。则 \( A \) 可以被分解为如下形式：
\[ A = U \Lambda U^H \]
其中，
▮ \( U \) 是一个 \( n \times n \) 的酉矩阵 (Unitary Matrix)（如果 \( A \) 是实对称矩阵，则 \( U \) 是正交矩阵 (Orthogonal Matrix)），其列向量是 \( A \) 的一组标准正交特征向量。
▮ \( \Lambda \) 是一个 \( n \times n \) 的对角矩阵 (Diagonal Matrix)，对角线上的元素是 \( A \) 的特征值 \( \lambda_1, \lambda_2, \dots, \lambda_n \)。特征值按照与特征向量对应的顺序排列。
▮ \( U^H \) 是 \( U \) 的共轭转置矩阵 (Conjugate Transpose)，对于实矩阵即为转置矩阵 \( U^T \)。

② 谱分解的意义：
谱分解将一个矩阵分解为三个矩阵的乘积，其中 \( \Lambda \) 对角矩阵集中了矩阵 \( A \) 的所有特征值信息，而 \( U \) 和 \( U^H \) 则是由特征向量构成的酉矩阵，描述了特征空间的信息。谱分解的意义在于：
▮ 揭示矩阵的特征结构：谱分解清晰地展示了矩阵的特征值和特征向量，这些特征值和特征向量是矩阵最重要的内在属性。
▮ 简化矩阵运算：对于可以谱分解的矩阵，许多复杂的矩阵运算可以转化为对角矩阵的运算，从而大大简化计算。例如，计算矩阵的幂、矩阵函数等。
▮ 矩阵分析的基础：谱分解是许多矩阵分析方法的基础，如矩阵函数、矩阵范数、奇异值分解 (SVD) 等都与谱分解密切相关。

③ 谱分解的步骤（以 Hermitian 矩阵为例）：
为了对 Hermitian 矩阵 \( A \) 进行谱分解，需要执行以下步骤：
1. 计算特征值：解特征方程 \( \det(A - \lambda I) = 0 \) 得到矩阵 \( A \) 的所有特征值 \( \lambda_1, \lambda_2, \dots, \lambda_n \)。
2. 计算特征向量：对于每个特征值 \( \lambda_i \)，解线性方程组 \( (A - \lambda_i I) \mathbf{v}_i = \mathbf{0} \) 得到对应的特征向量 \( \mathbf{v}_i \)。
3. 正交化特征向量：如果特征值有重根，可能需要使用 Gram-Schmidt 正交化方法对属于同一特征值的线性无关的特征向量进行正交化。
4. 单位化特征向量：将正交化后的特征向量单位化，得到标准正交特征向量 \( \mathbf{u}_1, \mathbf{u}_2, \dots, \mathbf{u}_n \)。
5. 构建矩阵 \( U \) 和 \( \Lambda \)：将标准正交特征向量作为列向量构成酉矩阵 \( U = [\mathbf{u}_1, \mathbf{u}_2, \dots, \mathbf{u}_n] \)，将特征值 \( \lambda_1, \lambda_2, \dots, \lambda_n \) 按照对应顺序排列在对角线上构成对角矩阵 \( \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_n) \)。
6. 谱分解结果：验证 \( A = U \Lambda U^H \)。

④ 谱分解的应用：
谱分解在理论分析和实际应用中都扮演着重要角色：
▮ 计算矩阵的幂：\( A^k = (U \Lambda U^H)^k = U \Lambda^k U^H \)。由于 \( \Lambda \) 是对角矩阵，\( \Lambda^k \) 的计算非常简单，只需将对角线上的元素各自求 \( k \) 次幂。
▮ 计算矩阵函数：如矩阵指数函数 \( e^A = U e^\Lambda U^H \)，其中 \( e^\Lambda \) 是对角矩阵，其对角线元素为 \( e^{\lambda_1}, e^{\lambda_2}, \dots, e^{\lambda_n} \)。
▮ 主成分分析 (PCA)：在主成分分析中，协方差矩阵是对称矩阵，可以进行谱分解，特征值代表了数据方差的大小，特征向量代表了主成分方向。
▮ 量子力学：在量子力学中，厄米算符（对应于 Hermitian 矩阵）的谱分解与物理量的观测值密切相关。

8.1.2 矩阵函数 (Matrix functions)

矩阵函数是将标量函数 \( f(x) \) 的定义域扩展到矩阵上的概念，即对于给定的矩阵 \( A \)，定义矩阵函数 \( f(A) \)。矩阵函数在控制理论、微分方程、数值计算等领域有着广泛的应用。

① 矩阵函数的定义：
定义矩阵函数主要有以下几种方法：
▮ 幂级数定义：如果标量函数 \( f(x) \) 可以表示为幂级数 \( f(x) = \sum_{k=0}^{\infty} c_k x^k \)，则矩阵函数 \( f(A) \) 可以定义为
\[ f(A) = \sum_{k=0}^{\infty} c_k A^k \]
只要该级数收敛。例如，矩阵指数函数 \( e^A = \sum_{k=0}^{\infty} \frac{1}{k!} A^k \)，矩阵余弦函数 \( \cos(A) = \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k)!} A^{2k} \) 等。
▮ 谱分解定义：如果矩阵 \( A \) 可以进行谱分解 \( A = U \Lambda U^H \)，且 \( f(x) \) 在 \( A \) 的特征值处有定义，则矩阵函数 \( f(A) \) 可以定义为
\[ f(A) = U f(\Lambda) U^H \]
其中 \( f(\Lambda) = \operatorname{diag}(f(\lambda_1), f(\lambda_2), \dots, f(\lambda_n)) \)。这种定义方法特别适用于可对角化矩阵和 Hermitian 矩阵。
▮ 柯西积分定义：利用复分析中的柯西积分公式，可以定义更一般的矩阵函数。设 \( f(z) \) 在包含矩阵 \( A \) 的所有特征值的区域内解析，则
\[ f(A) = \frac{1}{2\pi i} \oint_{\Gamma} f(z) (zI - A)^{-1} dz \]
其中 \( \Gamma \) 是一个包围 \( A \) 的所有特征值的闭合曲线。

② 常见的矩阵函数：
▮ 矩阵指数函数 \( e^A \)：在微分方程、控制系统理论中有着核心作用，例如线性常系数微分方程组 \( \mathbf{x}'(t) = A \mathbf{x}(t) \) 的解可以表示为 \( \mathbf{x}(t) = e^{At} \mathbf{x}(0) \)。
▮ 矩阵对数函数 \( \ln(A) \)：是矩阵指数函数的逆运算，在某些优化问题和信息论中有所应用。需要注意的是，矩阵对数函数的定义和存在性比矩阵指数函数要复杂。
▮ 矩阵正弦和余弦函数 \( \sin(A), \cos(A) \)：在振动问题、信号处理等领域有应用。
▮ 矩阵平方根 \( A^{1/2} \)：在某些优化算法和随机过程模拟中用到。

③ 矩阵函数的计算方法：
▮ 谱分解法：如果矩阵 \( A \) 可以谱分解为 \( A = U \Lambda U^H \)，则 \( f(A) = U f(\Lambda) U^H \)，其中 \( f(\Lambda) \) 是对角矩阵，容易计算。
▮ 幂级数法：直接使用幂级数定义计算，适用于收敛速度较快的级数，例如矩阵指数函数 \( e^A = \sum_{k=0}^{\infty} \frac{1}{k!} A^k \)。在实际计算中，通常需要截断级数到有限项。
▮ 数值方法：对于大型矩阵或无法进行谱分解的矩阵，可以使用数值方法近似计算矩阵函数，例如 Padé 逼近、微分方程方法等。

④ 矩阵函数的应用：
▮ 解线性微分方程组：矩阵指数函数是解线性常系数微分方程组的关键工具。
▮ 控制系统分析与设计：矩阵函数在控制系统稳定性分析、状态空间表示、系统响应计算等方面有重要应用。
▮ 网络分析：矩阵指数函数可以用于分析复杂网络中的传播动力学。
▮ 随机过程：矩阵指数函数在马尔可夫过程、连续时间随机游走等随机过程的分析中扮演重要角色。

8.2 克罗内克积与向量化 (Kronecker Product and Vectorization)

克罗内克积 (Kronecker Product) 和向量化 (Vectorization) 是处理矩阵和向量运算的有力工具，特别是在涉及到多线性代数、矩阵方程和系统辨识等问题时。克罗内克积提供了一种将两个矩阵“相乘”得到更大矩阵的方式，而向量化则提供了一种将矩阵转化为向量的方法。本节将介绍克罗内克积与向量化的定义、性质及其应用。

8.2.1 克罗内克积的定义与性质 (Definition and properties of Kronecker product)

克罗内克积，也称为直积 (Direct Product) 或张量积 (Tensor Product)，是两个矩阵之间的一种运算，结果是一个更大的矩阵。

① 克罗内克积的定义：
设 \( A \) 是一个 \( m \times n \) 矩阵，\( B \) 是一个 \( p \times q \) 矩阵。则 \( A \) 和 \( B \) 的克罗内克积 \( A \otimes B \) 是一个 \( (mp) \times (nq) \) 矩阵，定义为：
\[ A \otimes B = \begin{bmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B \\ a_{21}B & a_{22}B & \cdots & a_{2n}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{bmatrix} \]
其中 \( a_{ij} \) 是矩阵 \( A \) 的 \( (i, j) \) 元素，\( a_{ij}B \) 表示用标量 \( a_{ij} \) 乘以矩阵 \( B \)。

② 克罗内克积的性质：
克罗内克积具有许多重要的性质，这些性质使其在矩阵运算和理论分析中非常有用：
▮ 混合乘法性质 (Mixed-product property)：若矩阵乘积 \( AC \) 和 \( BD \) 都有定义，则
\[ (A \otimes B)(C \otimes D) = (AC) \otimes (BD) \]
▮ 结合律 (Associativity)：对于矩阵 \( A, B, C \)，有
\[ (A \otimes B) \otimes C = A \otimes (B \otimes C) \]
因此，可以记为 \( A \otimes B \otimes C \)。
▮ 分配律 (Distributivity)：
\[ A \otimes (B + C) = (A \otimes B) + (A \otimes C) \]
\[ (A + B) \otimes C = (A \otimes C) + (B \otimes C) \]
▮ 转置 (Transpose)：
\[ (A \otimes B)^T = A^T \otimes B^T \]
\[ (A \otimes B)^H = A^H \otimes B^H \]
▮ 标量乘法 (Scalar multiplication)：对于标量 \( c \)，
\[ (cA) \otimes B = A \otimes (cB) = c(A \otimes B) \]
▮ 逆矩阵 (Inverse matrix)：若 \( A \) 和 \( B \) 都是可逆矩阵，则 \( A \otimes B \) 也可逆，且
\[ (A \otimes B)^{-1} = A^{-1} \otimes B^{-1} \]
▮ 特征值 (Eigenvalues)：若 \( A \) 的特征值是 \( \lambda_1, \dots, \lambda_m \)，\( B \) 的特征值是 \( \mu_1, \dots, \mu_p \)，则 \( A \otimes B \) 的特征值是所有可能的乘积 \( \lambda_i \mu_j \) (\( i=1,\dots,m, j=1,\dots,p \))。
▮ 行列式 (Determinant)：对于 \( n \times n \) 矩阵 \( A \) 和 \( m \times m \) 矩阵 \( B \)，
\[ \det(A \otimes B) = (\det(A))^m (\det(B))^n \]
▮ 迹 (Trace)：对于方阵 \( A \) 和 \( B \)，
\[ \operatorname{tr}(A \otimes B) = \operatorname{tr}(A) \operatorname{tr}(B) \]

③ 克罗内克积的例子：
设 \( A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \)，\( B = \begin{bmatrix} 0 & 5 \\ 6 & 7 \end{bmatrix} \)。则
\[ A \otimes B = \begin{bmatrix} 1 \cdot B & 2 \cdot B \\ 3 \cdot B & 4 \cdot B \end{bmatrix} = \begin{bmatrix} 0 & 5 & 0 & 10 \\ 6 & 7 & 12 & 14 \\ 0 & 15 & 0 & 20 \\ 18 & 21 & 24 & 28 \end{bmatrix} \]

8.2.2 向量化的应用 (Applications of vectorization)

向量化运算 \( \operatorname{vec}(A) \) 是将一个矩阵 \( A \) 的列堆叠成一个长向量的过程。向量化与克罗内克积结合使用，可以有效地处理矩阵方程和线性系统问题。

① 向量化的定义：
对于一个 \( m \times n \) 矩阵 \( A = [\mathbf{a}_1, \mathbf{a}_2, \dots, \mathbf{a}_n] \)，其中 \( \mathbf{a}_i \) 是 \( A \) 的第 \( i \) 列，向量化运算 \( \operatorname{vec}(A) \) 定义为将 \( A \) 的所有列向量按顺序堆叠成一个 \( (mn) \times 1 \) 的列向量：
\[ \operatorname{vec}(A) = \begin{bmatrix} \mathbf{a}_1 \\ \mathbf{a}_2 \\ \vdots \\ \mathbf{a}_n \end{bmatrix} = \begin{bmatrix} a_{11} \\ a_{21} \\ \vdots \\ a_{m1} \\ a_{12} \\ a_{22} \\ \vdots \\ a_{m2} \\ \vdots \\ a_{1n} \\ a_{2n} \\ \vdots \\ a_{mn} \end{bmatrix} \]

② 向量化的性质：
▮ 线性性：\( \operatorname{vec}(A + B) = \operatorname{vec}(A) + \operatorname{vec}(B) \)，\( \operatorname{vec}(cA) = c \operatorname{vec}(A) \)。
▮ 矩阵乘积的向量化：这是向量化最重要的性质之一。对于矩阵乘积 \( AXB \)，有
\[ \operatorname{vec}(AXB) = (B^T \otimes A) \operatorname{vec}(X) \]
这个公式将矩阵乘积的向量化转化为克罗内克积和向量的乘积，是解决矩阵方程的关键。
▮ 迹与向量化的关系：对于方阵 \( A \) 和 \( B \)，\( \operatorname{tr}(A^T B) = (\operatorname{vec}(A))^T \operatorname{vec}(B) \)。这表明矩阵的 Frobenius 内积 (Frobenius Inner Product) 等于其向量化后的向量的内积。

③ 向量化的应用：
▮ 求解线性矩阵方程：考虑线性矩阵方程 \( AXB = C \)，其中 \( A, B, C \) 是已知矩阵，\( X \) 是未知矩阵。利用向量化性质，可以将矩阵方程转化为线性方程组：
\[ \operatorname{vec}(AXB) = \operatorname{vec}(C) \]
\[ (B^T \otimes A) \operatorname{vec}(X) = \operatorname{vec}(C) \]
令 \( K = B^T \otimes A \)，\( \mathbf{x} = \operatorname{vec}(X) \)，\( \mathbf{c} = \operatorname{vec}(C) \)，则矩阵方程转化为线性方程组 \( K \mathbf{x} = \mathbf{c} \)。如果 \( K \) 可逆，则解为 \( \mathbf{x} = K^{-1} \mathbf{c} \)，从而得到 \( X \)。
▮ 最小二乘问题：在系统辨识、信号处理等领域，经常需要求解最小二乘问题，例如 \( \min_X \|AXB - C\|_F^2 \)，其中 \( \|\cdot\|_F \) 是 Frobenius 范数。利用向量化和克罗内克积，可以将该问题转化为标准的线性最小二乘问题。
\[ \|AXB - C\|_F^2 = \|\operatorname{vec}(AXB - C)\|_2^2 = \|(B^T \otimes A) \operatorname{vec}(X) - \operatorname{vec}(C)\|_2^2 \]
令 \( K = B^T \otimes A \)，\( \mathbf{x} = \operatorname{vec}(X) \)，\( \mathbf{c} = \operatorname{vec}(C) \)，则问题变为 \( \min_{\mathbf{x}} \|K \mathbf{x} - \mathbf{c}\|_2^2 \)，这是一个标准的线性最小二乘问题，可以使用正规方程或 QR 分解等方法求解。
▮ 系统辨识：在系统辨识中，克罗内克积和向量化常用于将多输入多输出 (MIMO) 系统模型转化为向量形式，便于参数估计和系统分析。

8.3 张量初步 (Introduction to Tensors)

张量 (Tensor) 是向量和矩阵概念的推广，是描述多维数据的数学工具。随着数据科学、机器学习和人工智能的发展，张量在处理高维数据方面的重要性日益凸显。本节将初步介绍张量的基本概念和张量分解，为读者进一步学习高阶张量分析奠定基础。

8.3.1 张量的基本概念 (Basic concepts of tensors)

张量是多维数组，可以看作是向量和矩阵在高阶的推广。标量是 0 阶张量，向量是 1 阶张量，矩阵是 2 阶张量，3 阶及以上的张量称为高阶张量。

① 张量的定义：
张量可以从不同的角度进行定义，常见的定义方式包括：
▮ 多维数组定义：张量是一个多维数组，可以用指标 (index) 来标记其元素。一个 \( N \) 阶张量 \( \mathcal{T} \) 可以表示为 \( \mathcal{T} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N} \)，其中 \( I_n \) 是第 \( n \) 维的大小。张量的元素可以用 \( \mathcal{T}_{i_1 i_2 \cdots i_N} \) 表示，其中 \( 1 \le i_n \le I_n \)。
▮ 向量空间的张量积定义：从线性空间的角度，张量可以定义为向量空间的张量积的元素。例如，一个 2 阶张量（矩阵）可以看作是两个向量空间 \( V \) 和 \( W \) 的张量积 \( V \otimes W \) 的元素。

② 张量的基本概念：
▮ 阶数 (Order) 或 秩 (Rank)：张量的阶数是指张量的维度数量。0 阶张量是标量，1 阶张量是向量，2 阶张量是矩阵，\( N \) 阶张量有 \( N \) 个维度。
▮ 维度 (Dimension) 或 大小 (Size)：张量的维度是指每个维度的大小。一个 \( N \) 阶张量 \( \mathcal{T} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N} \) 的维度是 \( (I_1, I_2, \dots, I_N) \)。
▮ 纤维 (Fiber)：纤维是指固定张量除一个维度外所有维度指标后得到的一维数组，即向量。例如，对于 3 阶张量 \( \mathcal{T} \in \mathbb{R}^{I \times J \times K} \)，固定 \( j \) 和 \( k \)，变化 \( i \) 得到的向量 \( \mathcal{T}_{:jk} \) 称为列纤维 (column fiber)；固定 \( i \) 和 \( k \)，变化 \( j \) 得到的向量 \( \mathcal{T}_{i:k} \) 称为行纤维 (row fiber)；固定 \( i \) 和 \( j \)，变化 \( k \) 得到的向量 \( \mathcal{T}_{ij:} \) 称为管纤维 (tube fiber)。
▮ 切片 (Slice)：切片是指固定张量除两个维度外所有维度指标后得到的二维数组，即矩阵。例如，对于 3 阶张量 \( \mathcal{T} \in \mathbb{R}^{I \times J \times K} \)，固定 \( k \)，变化 \( i \) 和 \( j \) 得到的矩阵 \( \mathcal{T}_{::k} \) 称为水平切片 (horizontal slice)；固定 \( j \)，变化 \( i \) 和 \( k \) 得到的矩阵 \( \mathcal{T}_{:j:} \) 称为侧面切片 (lateral slice)；固定 \( i \)，变化 \( j \) 和 \( k \) 得到的矩阵 \( \mathcal{T}_{i::} \) 称为正面切片 (frontal slice)。

③ 张量与向量、矩阵的关系：
▮ 向量是 1 阶张量：向量可以看作是只有一个维度的张量。向量的元素可以通过一个指标来索引。
▮ 矩阵是 2 阶张量：矩阵可以看作是具有两个维度的张量。矩阵的元素可以通过两个指标（行指标和列指标）来索引。
▮ 高阶张量是向量和矩阵的推广：张量将向量和矩阵的概念推广到任意有限维度。高阶张量可以更好地表示和处理多维数据，例如彩色图像（3 阶张量：高度、宽度、颜色通道）、视频数据（4 阶张量：帧数、高度、宽度、颜色通道）、多模态数据等。

8.3.2 张量分解简介 (Introduction to tensor decomposition)

张量分解是将一个高阶张量分解为若干个低阶张量的运算，类似于矩阵分解。张量分解可以用于数据降维、特征提取、数据压缩、模式识别等多个领域。常见的张量分解方法包括 CP 分解 (Canonical Polyadic Decomposition) 和 Tucker 分解 (Tucker Decomposition)。

① CP 分解 (Canonical Polyadic Decomposition)：
CP 分解，也称为 CANDECOMP/PARAFAC 分解，是将一个 \( N \) 阶张量 \( \mathcal{T} \) 分解为 \( R \) 个秩-1 张量之和。秩-1 张量是指可以表示为 \( N \) 个向量外积的张量。对于 \( N \) 阶张量 \( \mathcal{T} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N} \)，CP 分解表示为：
\[ \mathcal{T} \approx \sum_{r=1}^{R} \mathbf{u}_r^{(1)} \circ \mathbf{u}_r^{(2)} \circ \cdots \circ \mathbf{u}_r^{(N)} \]
其中 \( \circ \) 表示向量的外积，\( \mathbf{u}_r^{(n)} \in \mathbb{R}^{I_n} \) 是第 \( n \) 个模态的因子矩阵 \( U^{(n)} = [\mathbf{u}_1^{(n)}, \mathbf{u}_2^{(n)}, \dots, \mathbf{u}_R^{(n)}] \) 的第 \( r \) 列向量，\( R \) 是分解的秩。CP 分解的目标是找到因子矩阵 \( U^{(1)}, U^{(2)}, \dots, U^{(N)} \) 使得重构的张量尽可能接近原始张量 \( \mathcal{T} \)。

② Tucker 分解 (Tucker Decomposition)：
Tucker 分解是将一个 \( N \) 阶张量 \( \mathcal{T} \) 分解为一个核心张量 \( \mathcal{G} \) 和 \( N \) 个因子矩阵的卷积。对于 \( N \) 阶张量 \( \mathcal{T} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N} \)，Tucker 分解表示为：
\[ \mathcal{T} \approx \sum_{r_1=1}^{R_1} \sum_{r_2=1}^{R_2} \cdots \sum_{r_N=1}^{R_N} \mathcal{G}_{r_1 r_2 \cdots r_N} \mathbf{u}_{r_1}^{(1)} \circ \mathbf{u}_{r_2}^{(2)} \circ \cdots \circ \mathbf{u}_{r_N}^{(N)} \]
也可以用张量形式表示为：
\[ \mathcal{T} \approx \mathcal{G} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 \cdots \times_N U^{(N)} \]
其中 \( \mathcal{G} \in \mathbb{R}^{R_1 \times R_2 \times \cdots \times R_N} \) 是核心张量，\( U^{(n)} \in \mathbb{R}^{I_n \times R_n} \) 是第 \( n \) 个模态的因子矩阵，\( \times_n \) 表示张量的 mode-n 乘积，\( R_n \) 是第 \( n \) 个模态的秩。Tucker 分解的目标是找到核心张量 \( \mathcal{G} \) 和因子矩阵 \( U^{(1)}, U^{(2)}, \dots, U^{(N)} \) 使得重构的张量尽可能接近原始张量 \( \mathcal{T} \)。当核心张量 \( \mathcal{G} \) 为对角张量且 \( R_1 = R_2 = \cdots = R_N = R \) 时，Tucker 分解退化为 CP 分解。

③ 张量分解的应用前景：
▮ 数据降维与特征提取：张量分解可以将高维数据表示为低维的因子矩阵和核心张量，从而实现数据降维和特征提取。
▮ 数据压缩：通过张量分解，可以用较小的存储空间表示高维数据，实现数据压缩。
▮ 模式识别与分类：张量分解可以提取数据中的潜在模式和结构，用于模式识别和分类任务。
▮ 推荐系统：张量分解可以用于分析用户-物品-时间等多维交互数据，提高推荐系统的性能。
▮ 生物信息学：张量分解可以用于分析基因表达数据、脑电数据等多维生物数据，发现生物过程中的模式和规律。

随着研究的深入，张量分析将在更多领域发挥重要作用，成为处理和分析高维数据的关键技术。本节的介绍仅仅是张量领域的冰山一角，希望能够激发读者对张量学习的兴趣，进一步探索张量理论与应用更广阔的天地。

Appendix A: 线性代数常用符号与术语 (Common Symbols and Terminology in Linear Algebra)

本附录汇总线性代数中常用的符号和术语，方便读者查阅和理解。

Appendix A.1: 常用符号 (Common Symbols)

本节介绍线性代数中常用的数学符号，这些符号贯穿本书，理解它们是阅读本书的基础。

① 集合与逻辑符号 (Set and Logic Symbols)

▮▮▮▮ⓐ \( \mathbb{R} \)：实数集 (set of real numbers)。表示所有实数的集合。例如，\( 1, -3.14, \sqrt{2} \) 都是实数。
▮▮▮▮ⓑ \( \mathbb{C} \)：复数集 (set of complex numbers)。表示所有复数的集合，形如 \( a + bi \)，其中 \( a, b \in \mathbb{R} \) 且 \( i = \sqrt{-1} \)。
▮▮▮▮ⓒ \( \mathbb{N} \)：自然数集 (set of natural numbers)。通常指非负整数集合 \( \{0, 1, 2, ...\} \) 或正整数集合 \( \{1, 2, 3, ...\} \) (本书采用非负整数集合)。
▮▮▮▮ⓓ \( \mathbb{Z} \)：整数集 (set of integers)。表示所有整数的集合，包括正整数、负整数和零，即 \( \{..., -2, -1, 0, 1, 2, ...\} \)。
▮▮▮▮ⓔ \( \in \)：属于 (belongs to)。表示元素属于集合。例如，\( x \in \mathbb{R} \) 表示 \( x \) 是实数。
▮▮▮▮ⓕ \( \notin \)：不属于 (does not belong to)。表示元素不属于集合。例如，\( x \notin \mathbb{N} \) 表示 \( x \) 不是自然数。
▮▮▮▮ⓖ \( \subseteq \)：子集 (subset)。表示一个集合包含于另一个集合。例如，\( A \subseteq B \) 表示集合 \( A \) 是集合 \( B \) 的子集。
▮▮▮▮ⓗ \( \cup \)：并集 (union)。表示两个集合的并集。例如，\( A \cup B \) 表示包含集合 \( A \) 和集合 \( B \) 所有元素的集合。
▮▮▮▮ⓘ \( \cap \)：交集 (intersection)。表示两个集合的交集。例如，\( A \cap B \) 表示包含集合 \( A \) 和集合 \( B \) 共有元素的集合。
▮▮▮▮ⓙ \( \forall \)：对于所有 (for all)。表示对于所有的...。例如，\( \forall x \in \mathbb{R} \) 表示对于所有实数 \( x \)。
▮▮▮▮ⓚ \( \exists \)：存在 (there exists)。表示存在...。例如，\( \exists x \in \mathbb{R} \) 表示存在实数 \( x \)。
▮▮▮▮ⓛ \( \Rightarrow \)：蕴含 (implies)。表示如果...则...。例如，\( P \Rightarrow Q \) 表示如果 \( P \) 为真，则 \( Q \) 为真。
▮▮▮▮ⓜ \( \Leftrightarrow \)：等价于 (is equivalent to)。表示...等价于...。例如，\( P \Leftrightarrow Q \) 表示 \( P \) 为真当且仅当 \( Q \) 为真。

② 向量与矩阵符号 (Vector and Matrix Symbols)

▮▮▮▮ⓐ \( \mathbf{u}, \mathbf{v}, \mathbf{w}, \mathbf{x}, \mathbf{y}, \mathbf{z} \)：向量 (vectors)。通常用小写粗体字母表示向量。例如，\( \mathbf{v} \) 表示一个向量。
▮▮▮▮ⓑ \( \mathbf{0} \)：零向量 (zero vector)。表示所有元素都为零的向量。
▮▮▮▮ⓒ \( \mathbf{e}_i \)：标准基向量 (standard basis vector)。表示第 \( i \) 个分量为 1，其余分量为 0 的向量。例如，在 \( \mathbb{R}^3 \) 中，\( \mathbf{e}_1 = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} \)，\( \mathbf{e}_2 = \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} \)，\( \mathbf{e}_3 = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix} \)。
▮▮▮▮ⓓ \( \mathbf{I} \) 或 \( \mathbf{E} \) 或 \( \mathbf{Id} \)：单位矩阵 (identity matrix)。表示对角线元素为 1，其余元素为 0 的方阵。有时也用 \( E \) 或 \( Id \) 表示。
▮▮▮▮ⓔ \( \mathbf{A}, \mathbf{B}, \mathbf{C}, \mathbf{M}, \mathbf{N} \)：矩阵 (matrices)。通常用大写粗体字母表示矩阵。例如，\( \mathbf{A} \) 表示一个矩阵。
▮▮▮▮ⓕ \( \mathbf{0} \)：零矩阵 (zero matrix)。表示所有元素都为零的矩阵。
▮▮▮▮ⓖ \( \mathbf{A}^T \)：转置矩阵 (transpose of a matrix)。表示矩阵 \( \mathbf{A} \) 的转置。
▮▮▮▮ⓗ \( \mathbf{A}^H \) 或 \( \mathbf{A}^* \)：共轭转置矩阵 (conjugate transpose of a matrix) 或 Hermitian 转置矩阵 (Hermitian transpose of a matrix)。表示矩阵 \( \mathbf{A} \) 的共轭转置，也记作 \( \mathbf{A}^* \)。对于实矩阵，共轭转置等于转置。
▮▮▮▮ⓘ \( \mathbf{A}^{-1} \)：逆矩阵 (inverse matrix)。表示矩阵 \( \mathbf{A} \) 的逆矩阵，满足 \( \mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I} \)。

③ 运算符号 (Operation Symbols)

▮▮▮▮ⓐ \( + \)：加法 (addition)。用于向量加法、矩阵加法等。
▮▮▮▮ⓑ \( - \)：减法 (subtraction)。用于向量减法、矩阵减法等。
▮▮▮▮ⓒ \( \cdot \) 或 \( \times \) 或 (无符号)：乘法 (multiplication)。用于标量乘法、矩阵乘法等。例如，\( a \mathbf{v} \) 表示标量 \( a \) 乘以向量 \( \mathbf{v} \)，\( \mathbf{A}\mathbf{B} \) 表示矩阵 \( \mathbf{A} \) 乘以矩阵 \( \mathbf{B} \)。
▮▮▮▮ⓓ \( \langle \mathbf{u}, \mathbf{v} \rangle \) 或 \( \mathbf{u} \cdot \mathbf{v} \) 或 \( \mathbf{u}^T \mathbf{v} \)：内积 (inner product) 或点积 (dot product)。表示向量 \( \mathbf{u} \) 和向量 \( \mathbf{v} \) 的内积。
▮▮▮▮ⓔ \( \| \mathbf{v} \| \)：向量范数 (norm of a vector)。表示向量 \( \mathbf{v} \) 的范数，例如 \( l_2 \) 范数（欧几里得范数）。
▮▮▮▮ⓕ \( \det(\mathbf{A}) \) 或 \( |\mathbf{A}| \)：行列式 (determinant)。表示矩阵 \( \mathbf{A} \) 的行列式。
▮▮▮▮ⓖ \( \text{rank}(\mathbf{A}) \) 或 \( \text{r}(\mathbf{A}) \)：秩 (rank)。表示矩阵 \( \mathbf{A} \) 的秩。
▮▮▮▮ⓗ \( \text{tr}(\mathbf{A}) \)：迹 (trace)。表示方阵 \( \mathbf{A} \) 的迹，即对角线元素之和。
▮▮▮▮ⓘ \( \lambda \)：特征值 (eigenvalue)。通常用希腊字母 \( \lambda \) 表示特征值。
▮▮▮▮ⓙ \( \mathbf{v} \)：特征向量 (eigenvector)。通常用小写粗体字母 \( \mathbf{v} \) 表示特征向量。
▮▮▮▮ⓚ \( \sigma \)：奇异值 (singular value)。通常用希腊字母 \( \sigma \) 表示奇异值。
▮▮▮▮ⓛ \( \oplus \)：直和 (direct sum)。用于向量空间的直和。
▮▮▮▮ⓜ \( \otimes \)：克罗内克积 (Kronecker product) 或张量积 (tensor product)。用于矩阵的克罗内克积。

Appendix A.2: 常用术语 (Common Terminology)

本节解释线性代数中常用的术语，帮助读者理解关键概念。

① 基本概念 (Basic Concepts)

▮▮▮▮ⓐ 线性方程组 (System of Linear Equations)：由若干个关于未知数的线性方程组成的方程组。例如：
\[ \begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n = b_1 \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n = b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n = b_m \end{cases} \]
▮▮▮▮ⓑ 矩阵 (Matrix)：由数字按矩形排列成的数表。矩阵通常用于表示线性变换和存储数据。
▮▮▮▮ⓒ 向量 (Vector)：具有大小和方向的量，在线性代数中通常表示为列向量或行向量，是矩阵的特殊形式。
▮▮▮▮ⓓ 标量 (Scalar)：只有大小，没有方向的量，通常指实数或复数。
▮▮▮▮ⓔ 向量空间 (Vector Space)：满足特定公理的向量集合，定义了向量加法和标量乘法运算。也称为线性空间 (Linear Space)。
▮▮▮▮ⓕ 子空间 (Subspace)：向量空间的一个子集，本身也构成向量空间。
▮▮▮▮ⓖ 线性组合 (Linear Combination)：若干向量乘以标量系数后再相加得到的向量。
▮▮▮▮ⓗ 线性相关 (Linear Dependence)：一组向量中，至少有一个向量可以表示为其余向量的线性组合。
▮▮▮▮ⓘ 线性无关 (Linear Independence)：一组向量中，没有向量可以表示为其余向量的线性组合。
▮▮▮▮ⓙ 基 (Basis)：向量空间的一组线性无关的生成集。基可以用来表示向量空间中的任何向量。
▮▮▮▮ⓚ 维数 (Dimension)：向量空间基向量的个数。有限维向量空间的维数是唯一的。
▮▮▮▮ⓛ 坐标 (Coordinates)：向量在给定基下的表示系数。

② 矩阵运算与性质 (Matrix Operations and Properties)

▮▮▮▮ⓐ 转置 (Transpose)：将矩阵的行变成列，列变成行的运算。
▮▮▮▮ⓑ 共轭转置 (Conjugate Transpose)：先对矩阵进行转置，再对每个元素取复共轭。对于实矩阵，共轭转置等于转置。也称为 Hermitian 转置 (Hermitian Transpose)。
▮▮▮▮ⓒ 逆矩阵 (Inverse Matrix)：对于方阵 \( \mathbf{A} \)，如果存在矩阵 \( \mathbf{A}^{-1} \) 使得 \( \mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I} \)，则称 \( \mathbf{A}^{-1} \) 为 \( \mathbf{A} \) 的逆矩阵。
▮▮▮▮ⓓ 行列式 (Determinant)：一个将方阵映射到标量的函数，反映了矩阵的某些性质，如是否可逆。
▮▮▮▮ⓔ 秩 (Rank)：矩阵列向量（或行向量）的最大线性无关组所含向量的个数，反映了矩阵的“有效维度”。
▮▮▮▮ⓕ 迹 (Trace)：方阵对角线元素之和。
▮▮▮▮ⓖ 正交矩阵 (Orthogonal Matrix)：列向量（或行向量）组是标准正交基的实方阵。满足 \( \mathbf{Q}^T\mathbf{Q} = \mathbf{Q}\mathbf{Q}^T = \mathbf{I} \)。
▮▮▮▮ⓗ 酉矩阵 (Unitary Matrix)：列向量（或行向量）组是标准正交基的复方阵。满足 \( \mathbf{U}^H\mathbf{U} = \mathbf{U}\mathbf{U}^H = \mathbf{I} \)。
▮▮▮▮ⓘ 对称矩阵 (Symmetric Matrix)：满足 \( \mathbf{A}^T = \mathbf{A} \) 的方阵。
▮▮▮▮ⓙ Hermitian 矩阵 (Hermitian Matrix)：满足 \( \mathbf{A}^H = \mathbf{A} \) 的方阵。
▮▮▮▮ⓚ 正定矩阵 (Positive Definite Matrix)：对称矩阵（或 Hermitian 矩阵） \( \mathbf{A} \)，对于任何非零向量 \( \mathbf{x} \)，满足 \( \mathbf{x}^T\mathbf{A}\mathbf{x} > 0 \) （或 \( \mathbf{x}^H\mathbf{A}\mathbf{x} > 0 \)）。

③ 线性变换与特征值 (Linear Transformations and Eigenvalues)

▮▮▮▮ⓐ 线性变换 (Linear Transformation)：向量空间之间保持线性运算（加法和标量乘法）的映射。
▮▮▮▮ⓑ 核 (Kernel)：线性变换的零空间，指被线性变换映射到零向量的原向量集合。也称为零空间 (Null Space)。
▮▮▮▮ⓒ 像 (Image)：线性变换的值域，指所有原向量经过线性变换后得到的向量集合。也称为值域 (Range)。
▮▮▮▮ⓓ 特征值 (Eigenvalue)：对于方阵 \( \mathbf{A} \)，如果存在非零向量 \( \mathbf{v} \) 和标量 \( \lambda \) 使得 \( \mathbf{A}\mathbf{v} = \lambda \mathbf{v} \)，则 \( \lambda \) 称为 \( \mathbf{A} \) 的特征值。
▮▮▮▮ⓔ 特征向量 (Eigenvector)：与特征值 \( \lambda \) 对应的非零向量 \( \mathbf{v} \)。
▮▮▮▮ⓕ 特征多项式 (Characteristic Polynomial)：关于 \( \lambda \) 的多项式 \( \det(\mathbf{A} - \lambda \mathbf{I}) \)，特征值是特征多项式的根。
▮▮▮▮ⓖ 特征子空间 (Eigenspace)：由所有与同一个特征值相关的特征向量以及零向量组成的向量空间。
▮▮▮▮ⓗ 可对角化 (Diagonalizable)：如果一个矩阵相似于对角矩阵，则称该矩阵可对角化。

④ 矩阵分解 (Matrix Decompositions)

▮▮▮▮ⓐ LU 分解 (LU Decomposition)：将矩阵分解为一个下三角矩阵 \( \mathbf{L} \) 和一个上三角矩阵 \( \mathbf{U} \) 的乘积，即 \( \mathbf{A} = \mathbf{LU} \)。
▮▮▮▮ⓑ QR 分解 (QR Decomposition)：将矩阵分解为一个正交矩阵 \( \mathbf{Q} \) 和一个上三角矩阵 \( \mathbf{R} \) 的乘积，即 \( \mathbf{A} = \mathbf{QR} \)。
▮▮▮▮ⓒ 奇异值分解 (SVD - Singular Value Decomposition)：将矩阵分解为 \( \mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^H \)，其中 \( \mathbf{U} \) 和 \( \mathbf{V} \) 是酉矩阵，\( \mathbf{\Sigma} \) 是对角矩阵，对角线元素为奇异值。
▮▮▮▮ⓓ 谱分解 (Spectral Decomposition)：将矩阵分解为特征值和特征向量的形式，特别是对于可对角化的矩阵或 Hermitian 矩阵。

⑤ 数值线性代数 (Numerical Linear Algebra)

▮▮▮▮ⓐ 向量范数 (Vector Norm)：衡量向量“长度”的函数，满足非负性、齐次性、三角不等式。常见的有 \( l_1 \)-范数、\( l_2 \)-范数、\( l_\infty \)-范数。
▮▮▮▮ⓑ 矩阵范数 (Matrix Norm)：衡量矩阵“大小”的函数，也满足范数的性质，并与向量范数相容。常见的有 Frobenius 范数、谱范数、行范数、列范数。
▮▮▮▮ⓒ 迭代法 (Iterative Method)：用于求解线性方程组或特征值问题的数值方法，通过迭代逼近精确解。例如 Jacobi 迭代法 (Jacobi Iterative Method)、Gauss-Seidel 迭代法 (Gauss-Seidel Iterative Method)、幂迭代法 (Power Iteration Method)。
▮▮▮▮ⓓ 收敛性 (Convergence)：迭代法产生的序列逼近真解的性质。

本附录旨在为读者提供快速查阅线性代数常用符号和术语的工具，方便在阅读本书时进行参考。随着学习的深入，读者将逐渐熟悉并掌握这些符号和术语。

Appendix B: 数学软件应用 (Application of Mathematical Software)

B.1 MATLAB 应用 (MATLAB Application)

B.1.1 MATLAB 基础操作 (Basic MATLAB Operations)

在进行线性代数与矩阵分析的学习和应用时，MATLAB 是一款强大的数学软件。本节将介绍 MATLAB 中用于线性代数的基本操作，帮助读者快速上手。

① 启动 MATLAB (Starting MATLAB)

启动 MATLAB 软件，您将看到 MATLAB 的操作界面，包括命令窗口 (Command Window)、当前文件夹 (Current Folder)、工作区 (Workspace) 等。

② 输入矩阵 (Entering Matrices)

在 MATLAB 中，可以使用方括号 [] 直接输入矩阵，矩阵的元素之间用空格或逗号 , 分隔，行之间用分号 ; 分隔。

                                
                                    

                            
1
                            
A = [1 2 3; 4 5 6; 7 8 9]
                        

                            
2
                            
B = [1, 2, 3; 4, 5, 6; 7, 8, 9] % 逗号分隔元素
                        

                            
3
                            
C = [
                        

                            
4
                            
    1 2 3
                        

                            
5
                            
    4 5 6
                        

                            
6
                            
    7 8 9
                        

                            
7
                            
    ] % 换行输入
                        
                                
                            

上述代码定义了矩阵 \(A\)、\(B\)、\(C\)，它们是相同的矩阵。

③ 矩阵的基本运算 (Basic Matrix Operations)

MATLAB 支持矩阵的加法、减法、乘法、数乘、转置等基本运算。

                                
                                    

                            
1
                            
A = [1 2; 3 4];
                        

                            
2
                            
B = [5 6; 7 8];
                        

                            
3
                            
scalar = 2;
                        

                            
4
                            

                        

                            
5
                            
Addition = A + B % 矩阵加法
                        

                            
6
                            
Subtraction = A - B % 矩阵减法
                        

                            
7
                            
Multiplication = A * B % 矩阵乘法
                        

                            
8
                            
ScalarMultiplication = scalar * A % 标量乘法
                        

                            
9
                            
Transpose = A' % 矩阵转置
                        
                                
                            

上述代码演示了矩阵的加法、减法、乘法、标量乘法和转置运算。

④ 帮助文档 (Help Documents)

MATLAB 提供了完善的帮助文档。可以使用 help 命令查看函数的帮助信息。例如，要查看 det 函数（计算行列式）的帮助，可以输入：

                                
                                    

                            
1
                            
help det
                        
                                
                            

MATLAB 会在命令窗口显示 det 函数的详细说明，包括语法、功能和示例。

B.1.2 线性方程组求解 (Solving Linear Equations)

MATLAB 提供了多种方法来求解线性方程组 \(Ax = b\)。

① 使用反斜杠运算符 \ (Backslash Operator)

反斜杠运算符 \ 是 MATLAB 中最常用的求解线性方程组的方法，它能自动选择最优的求解算法。

假设我们要求解线性方程组 \(Ax = b\)，其中
\[ A = \begin{pmatrix} 2 & 1 & -1 \\ -3 & -1 & 2 \\ -2 & 1 & 2 \end{pmatrix}, \quad b = \begin{pmatrix} 8 \\ -11 \\ -3 \end{pmatrix} \]
在 MATLAB 中，代码如下：

                                
                                    

                            
1
                            
A = [2 1 -1; -3 -1 2; -2 1 2];
                        

                            
2
                            
b = [8; -11; -3];
                        

                            
3
                            
x = A \ b % 使用反斜杠运算符求解 Ax = b
                        
                                
                            

运行上述代码，MATLAB 将计算出线性方程组的解 \(x\)。

② 使用 linsolve 函数 ( linsolve Function)

linsolve 函数是专门用于求解线性方程组的函数，可以指定更多选项，例如矩阵的结构等。

                                
                                    

                            
1
                            
A = [2 1 -1; -3 -1 2; -2 1 2];
                        

                            
2
                            
b = [8; -11; -3];
                        

                            
3
                            
x = linsolve(A, b) % 使用 linsolve 函数求解 Ax = b
                        
                                
                            

linsolve(A, b) 与 A \ b 的结果相同，但 linsolve 提供了更灵活的控制。

③ 使用 rref 函数求解增广矩阵 (Solving Augmented Matrix using rref Function)

rref 函数用于计算矩阵的简化行阶梯形 (Reduced Row Echelon Form)。我们可以将增广矩阵 \([A|b]\) 输入 rref 函数，从而求解线性方程组。

                                
                                    

                            
1
                            
A = [2 1 -1; -3 -1 2; -2 1 2];
                        

                            
2
                            
b = [8; -11; -3];
                        

                            
3
                            
AugmentedMatrix = [A, b]; % 构建增广矩阵 [A|b]
                        

                            
4
                            
RREF = rref(AugmentedMatrix); % 计算增广矩阵的简化行阶梯形
                        

                            
5
                            
x_rref = RREF(:, end) % 解为简化行阶梯形的最后一列
                        
                                
                            

通过 rref 函数，我们可以得到增广矩阵的简化行阶梯形，从而直接读出线性方程组的解。

B.1.3 矩阵运算 (Matrix Operations)

MATLAB 提供了丰富的矩阵运算函数，以下介绍一些常用的函数。

① 行列式 (Determinant)

使用 det(A) 函数计算方阵 \(A\) 的行列式。

                                
                                    

                            
1
                            
A = [1 2 3; 4 5 6; 7 8 9];
                        

                            
2
                            
determinant_A = det(A) % 计算矩阵 A 的行列式
                        
                                
                            

② 逆矩阵 (Inverse Matrix)

使用 inv(A) 函数计算方阵 \(A\) 的逆矩阵。如果矩阵不可逆（奇异矩阵），inv(A) 会给出警告信息。

                                
                                    

                            
1
                            
A = [1 2; 3 4];
                        

                            
2
                            
inverse_A = inv(A) % 计算矩阵 A 的逆矩阵
                        
                                
                            

③ 特征值与特征向量 (Eigenvalues and Eigenvectors)

使用 eig(A) 函数计算方阵 \(A\) 的特征值。使用 [V, D] = eig(A) 函数同时计算特征向量和特征值，其中 \(D\) 是特征值构成的对角矩阵，\(V\) 是特征向量构成的矩阵，且满足 \(AV = VD\)。

                                
                                    

                            
1
                            
A = [4 -2; 1 1];
                        

                            
2
                            
eigenvalues = eig(A) % 计算矩阵 A 的特征值
                        

                            
3
                            
[V, D] = eig(A) % 计算矩阵 A 的特征值和特征向量
                        
                                
                            

④ 矩阵的秩 (Rank of Matrix)

使用 rank(A) 函数计算矩阵 \(A\) 的秩。

                                
                                    

                            
1
                            
A = [1 2 3; 4 5 6; 7 8 9];
                        

                            
2
                            
rank_A = rank(A) % 计算矩阵 A 的秩
                        
                                
                            

⑤ 矩阵的迹 (Trace of Matrix)

使用 trace(A) 函数计算方阵 \(A\) 的迹（对角线元素之和）。

                                
                                    

                            
1
                            
A = [1 2 3; 4 5 6; 7 8 9];
                        

                            
2
                            
trace_A = trace(A) % 计算矩阵 A 的迹
                        
                                
                            

B.1.4 特征值与特征向量计算 (Eigenvalue and Eigenvector Calculation)

MATLAB 在特征值和特征向量的计算方面提供了强大的功能。除了前述的 eig 函数，还有其他函数可以用于特定类型的特征值问题。

① 广义特征值问题 (Generalized Eigenvalue Problem)

对于广义特征值问题 \(Ax = \lambda Bx\)，可以使用 eig(A, B) 函数求解。

                                
                                    

                            
1
                            
A = [1 2; 3 4];
                        

                            
2
                            
B = [5 6; 7 8];
                        

                            
3
                            
[V, D] = eig(A, B) % 求解广义特征值问题 Ax = lambda Bx
                        

                            
4
                            
eigenvalues_generalized = diag(D) % 广义特征值
                        
                                
                            

eig(A, B) 返回广义特征向量矩阵 \(V\) 和广义特征值对角矩阵 \(D\)，广义特征值位于 \(D\) 的对角线上。

② 只计算特征值 (Only Calculate Eigenvalues)

如果只需要计算特征值而不需要特征向量，可以使用 eigs 函数。eigs 函数还可以用于计算大型稀疏矩阵的部分特征值。

                                
                                    

                            
1
                            
A = rand(100); % 生成一个 100x100 的随机矩阵
                        

                            
2
                            
eigenvalues_sparse = eigs(A, 10) % 计算矩阵 A 的前 10 个最大特征值
                        
                                
                            

eigs(A, k) 计算矩阵 \(A\) 的 \(k\) 个模最大的特征值。可以根据需要选择不同的参数来计算特定位置的特征值。

B.1.5 矩阵分解 (Matrix Decomposition)

MATLAB 提供了多种矩阵分解的函数，例如 LU 分解、QR 分解、奇异值分解 (SVD) 等。

① LU 分解 (LU Decomposition)

使用 lu(A) 函数进行 LU 分解。[L, U] = lu(A) 返回单位下三角矩阵 \(L\) 和上三角矩阵 \(U\)，使得 \(A = LU\)。[L, U, P] = lu(A) 返回下三角矩阵 \(L\)，上三角矩阵 \(U\) 和置换矩阵 \(P\)，使得 \(PA = LU\)。

                                
                                    

                            
1
                            
A = [1 2 3; 4 5 6; 7 8 9];
                        

                            
2
                            
[L, U] = lu(A) % LU 分解，A = LU
                        

                            
3
                            
[L_p, U_p, P] = lu(A) % 带置换矩阵的 LU 分解，PA = LUP
                        
                                
                            

② QR 分解 (QR Decomposition)

使用 qr(A) 函数进行 QR 分解。[Q, R] = qr(A) 返回正交矩阵 \(Q\) 和上三角矩阵 \(R\)，使得 \(A = QR\)。

                                
                                    

                            
1
                            
A = rand(3); % 生成一个 3x3 的随机矩阵
                        

                            
2
                            
[Q, R] = qr(A) % QR 分解，A = QR
                        
                                
                            

③ 奇异值分解 (SVD - Singular Value Decomposition)

使用 svd(A) 函数进行奇异值分解。S = svd(A) 返回矩阵 \(A\) 的奇异值向量。[U, S, V] = svd(A) 返回酉矩阵 \(U\)，奇异值对角矩阵 \(S\) 和酉矩阵 \(V\)，使得 \(A = USV^H\)，其中 \(V^H\) 是 \(V\) 的共轭转置。

                                
                                    

                            
1
                            
A = rand(4, 3); % 生成一个 4x3 的随机矩阵
                        

                            
2
                            
singular_values = svd(A) % 计算矩阵 A 的奇异值
                        

                            
3
                            
[U, S, V] = svd(A) % 奇异值分解，A = USV'
                        
                                
                            

通过以上介绍，读者可以掌握 MATLAB 在线性代数计算中的基本应用。MATLAB 强大的矩阵运算能力和丰富的函数库，为线性代数问题的求解提供了便利的工具。

B.2 Python/NumPy 应用 (Python/NumPy Application)

Python 语言及其 NumPy 库是进行数值计算和线性代数运算的强大工具。NumPy 提供了高效的数组 (array) 对象以及丰富的线性代数函数库 (linalg)。本节将介绍如何使用 Python 和 NumPy 进行线性代数运算。

B.2.1 Python/NumPy 基础操作 (Basic Python/NumPy Operations)

① 安装 NumPy (Installing NumPy)

如果您的 Python 环境中没有安装 NumPy，可以使用 pip 命令进行安装：

                                
                                    

                            
1
                            
pip install numpy
                        
                                
                            

② 导入 NumPy 库 (Importing NumPy Library)

在 Python 代码中，首先需要导入 NumPy 库：

                                
                                    

                            
1
                            
import numpy as np
                        
                                
                            

通常使用 np 作为 NumPy 的别名，方便后续调用。

③ 创建 NumPy 数组 (Creating NumPy Arrays)

NumPy 的核心是 ndarray 对象，即 N 维数组。可以使用 np.array() 函数从 Python 列表创建 NumPy 数组。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
4
                            
B = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
5
                            
print("Matrix A:\n", A)
                        

                            
6
                            
print("Matrix B:\n", B)
                        
                                
                            

上述代码创建了两个 NumPy 矩阵 \(A\) 和 \(B\)。

④ NumPy 数组的基本运算 (Basic NumPy Array Operations)

NumPy 支持数组的加法、减法、乘法（元素wise乘法和矩阵乘法）、数乘、转置等基本运算。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2], [3, 4]])
                        

                            
4
                            
B = np.array([[5, 6], [7, 8]])
                        

                            
5
                            
scalar = 2
                        

                            
6
                            

                        

                            
7
                            
Addition = A + B # 数组加法 (元素wise)
                        

                            
8
                            
Subtraction = A - B # 数组减法 (元素wise)
                        

                            
9
                            
ElementWiseMultiplication = A * B # 元素wise乘法
                        

                            
10
                            
MatrixMultiplication = A @ B # 矩阵乘法 (Python 3.5+ 及 NumPy) 或 np.dot(A, B)
                        

                            
11
                            
ScalarMultiplication = scalar * A # 标量乘法
                        

                            
12
                            
Transpose = A.T # 矩阵转置
                        

                            
13
                            
print("Addition:\n", Addition)
                        

                            
14
                            
print("Subtraction:\n", Subtraction)
                        

                            
15
                            
print("Element-wise Multiplication:\n", ElementWiseMultiplication)
                        

                            
16
                            
print("Matrix Multiplication:\n", MatrixMultiplication)
                        

                            
17
                            
print("Scalar Multiplication:\n", ScalarMultiplication)
                        

                            
18
                            
print("Transpose:\n", Transpose)
                        
                                
                            

注意区分元素wise乘法 * 和矩阵乘法 @ 或 np.dot()。

⑤ 查阅 NumPy 文档 (Consulting NumPy Documentation)

NumPy 提供了详细的在线文档。可以访问 NumPy 官方网站 (https://numpy.org/doc/) 查阅函数说明和使用方法。

B.2.2 线性方程组求解 (Solving Linear Equations)

NumPy 的 linalg 模块提供了求解线性方程组的函数 np.linalg.solve()。

① 使用 np.linalg.solve() 函数 ( np.linalg.solve() Function)

np.linalg.solve(A, b) 函数用于求解线性方程组 \(Ax = b\)。

假设我们要求解线性方程组 \(Ax = b\)，其中
\[ A = \begin{pmatrix} 2 & 1 & -1 \\ -3 & -1 & 2 \\ -2 & 1 & 2 \end{pmatrix}, \quad b = \begin{pmatrix} 8 \\ -11 \\ -3 \end{pmatrix} \]
在 Python/NumPy 中，代码如下：

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[2, 1, -1], [-3, -1, 2], [-2, 1, 2]])
                        

                            
4
                            
b = np.array([8, -11, -3])
                        

                            
5
                            
x = np.linalg.solve(A, b) # 使用 np.linalg.solve() 求解 Ax = b
                        

                            
6
                            
print("Solution x:\n", x)
                        
                                
                            

运行上述代码，NumPy 将计算出线性方程组的解 \(x\)。

② 使用 np.linalg.lstsq() 函数求解最小二乘解 (Least Squares Solution using np.linalg.lstsq() Function)

对于超定方程组（方程个数多于未知数个数）\(Ax = b\)，通常不存在精确解。np.linalg.lstsq(A, b) 函数可以找到最小二乘意义下的最优解。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 1], [1, 2], [1, 3]]) # 超定矩阵
                        

                            
4
                            
b = np.array([2, 3, 4])
                        

                            
5
                            
x_lstsq, residuals, rank, s = np.linalg.lstsq(A, b, rcond=None) # 求解最小二乘解
                        

                            
6
                            
print("Least squares solution x:\n", x_lstsq)
                        

                            
7
                            
print("Residuals:\n", residuals)
                        
                                
                            

np.linalg.lstsq() 函数返回最小二乘解 x_lstsq，残差平方和 residuals，矩阵 \(A\) 的秩 rank 和奇异值 s。

B.2.3 矩阵运算 (Matrix Operations)

NumPy 的 linalg 模块提供了丰富的矩阵运算函数。

① 行列式 (Determinant)

使用 np.linalg.det(A) 函数计算方阵 \(A\) 的行列式。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
4
                            
determinant_A = np.linalg.det(A) # 计算矩阵 A 的行列式
                        

                            
5
                            
print("Determinant of A:", determinant_A)
                        
                                
                            

② 逆矩阵 (Inverse Matrix)

使用 np.linalg.inv(A) 函数计算方阵 \(A\) 的逆矩阵。如果矩阵不可逆，np.linalg.inv(A) 会抛出 LinAlgError 异常。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2], [3, 4]])
                        

                            
4
                            
inverse_A = np.linalg.inv(A) # 计算矩阵 A 的逆矩阵
                        

                            
5
                            
print("Inverse of A:\n", inverse_A)
                        
                                
                            

③ 特征值与特征向量 (Eigenvalues and Eigenvectors)

使用 np.linalg.eig(A) 函数计算方阵 \(A\) 的特征值和特征向量。函数返回两个数组，第一个数组包含特征值，第二个数组的列向量为对应的特征向量。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[4, -2], [1, 1]])
                        

                            
4
                            
eigenvalues, eigenvectors = np.linalg.eig(A) # 计算矩阵 A 的特征值和特征向量
                        

                            
5
                            
print("Eigenvalues:\n", eigenvalues)
                        

                            
6
                            
print("Eigenvectors:\n", eigenvectors)
                        
                                
                            

④ 矩阵的秩 (Rank of Matrix)

使用 np.linalg.matrix_rank(A) 函数计算矩阵 \(A\) 的秩。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
4
                            
rank_A = np.linalg.matrix_rank(A) # 计算矩阵 A 的秩
                        

                            
5
                            
print("Rank of A:", rank_A)
                        
                                
                            

⑤ 矩阵的迹 (Trace of Matrix)

使用 np.trace(A) 函数计算方阵 \(A\) 的迹。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
4
                            
trace_A = np.trace(A) # 计算矩阵 A 的迹
                        

                            
5
                            
print("Trace of A:", trace_A)
                        
                                
                            

B.2.4 特征值与特征向量计算 (Eigenvalue and Eigenvector Calculation)

NumPy 在特征值和特征向量计算方面同样提供了丰富的功能。

① 广义特征值问题 (Generalized Eigenvalue Problem)

对于广义特征值问题 \(Ax = \lambda Bx\)，可以使用 np.linalg.eig(A, B) 函数求解。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.array([[1, 2], [3, 4]])
                        

                            
4
                            
B = np.array([[5, 6], [7, 8]])
                        

                            
5
                            
eigenvalues_generalized, eigenvectors_generalized = np.linalg.eig(A, B) # 求解广义特征值问题 Ax = lambda Bx
                        

                            
6
                            
print("Generalized Eigenvalues:\n", eigenvalues_generalized)
                        

                            
7
                            
print("Generalized Eigenvectors:\n", eigenvectors_generalized)
                        
                                
                            

② 奇异值分解 (SVD - Singular Value Decomposition)

使用 np.linalg.svd(A) 函数进行奇异值分解。U, S, V = np.linalg.svd(A) 返回酉矩阵 \(U\)，奇异值向量 \(S\) 和酉矩阵 \(V^H\)，使得 \(A = USV^H\)，在 Python/NumPy 中返回的 \(V\) 已经是共轭转置 \(V^H\)。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.random.rand(4, 3) # 生成一个 4x3 的随机矩阵
                        

                            
4
                            
U, S, V = np.linalg.svd(A) # 奇异值分解，A = USV
                        

                            
5
                            
print("U:\n", U)
                        

                            
6
                            
print("Singular values S:\n", S)
                        

                            
7
                            
print("V (V^H in math notation):\n", V)
                        
                                
                            

B.2.5 矩阵分解 (Matrix Decomposition)

NumPy 的 linalg 模块提供了多种矩阵分解函数。

① LU 分解 (LU Decomposition)

SciPy 库的 scipy.linalg 模块提供了 LU 分解函数 scipy.linalg.lu()。需要先安装 SciPy： pip install scipy。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            
from scipy.linalg import lu
                        

                            
3
                            

                        

                            
4
                            
A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
                        

                            
5
                            
P, L, U = lu(A) # LU 分解，PA = LU
                        

                            
6
                            
print("P:\n", P)
                        

                            
7
                            
print("L:\n", L)
                        

                            
8
                            
print("U:\n", U)
                        
                                
                            

scipy.linalg.lu() 函数返回置换矩阵 \(P\)，下三角矩阵 \(L\) 和上三角矩阵 \(U\)，使得 \(PA = LU\)。

② QR 分解 (QR Decomposition)

使用 np.linalg.qr(A) 函数进行 QR 分解。

                                
                                    

                            
1
                            
import numpy as np
                        

                            
2
                            

                        

                            
3
                            
A = np.random.rand(3, 3) # 生成一个 3x3 的随机矩阵
                        

                            
4
                            
Q, R = np.linalg.qr(A) # QR 分解，A = QR
                        

                            
5
                            
print("Q:\n", Q)
                        

                            
6
                            
print("R:\n", R)
                        
                                
                            

通过本节的介绍，读者可以利用 Python 和 NumPy 库进行高效的线性代数计算。NumPy 简洁的语法和强大的功能，使得 Python 成为进行数值线性代数分析的优秀选择。结合 MATLAB 和 Python/NumPy，读者可以根据实际需求选择合适的数学软件工具，提升学习和研究效率。

Appendix C: 参考文献 (References)

Appendix C: 参考文献 (References)

本附录列出本书的参考文献，包括经典教材、学术论文等，为读者深入研究提供参考资料。

① 经典教材 (Classic Textbooks)
▮▮▮▮ⓑ Strang, Gilbert. Linear Algebra and Its Applications. 4th ed. Belmont, CA: Brooks/Cole, 2006. (经典线性代数教材，强调应用，内容全面，习题丰富。)
▮▮▮▮ⓒ Axler, Sheldon. Linear Algebra Done Right. 3rd ed. Springer, 2015. (以抽象向量空间为出发点，注重理论推导，适合希望深入理解线性代数理论的读者。)
▮▮▮▮ⓓ Hoffman, Kenneth, and Ray Kunze. Linear Algebra. 2nd ed. Englewood Cliffs, NJ: Prentice Hall, 1971. (理论性强，内容深入，是学习线性代数 фундаментальный 教材。)
▮▮▮▮ⓔ Horn, Roger A., and Charles R. Johnson. Matrix Analysis. 2nd ed. Cambridge University Press, 2012. (矩阵分析领域的权威著作，内容 umfassend 且深入，适合作为参考书。)
▮▮▮▮ⓕ Golub, Gene H., and Charles F. Van Loan. Matrix Computations. 4th ed. Johns Hopkins University Press, 2012. (数值线性代数领域的经典之作，系统介绍了矩阵计算的各种方法和理论。)
▮▮▮▮ⓖ Meyer, Carl D. Matrix Analysis and Applied Linear Algebra. SIAM, 2000. (结合理论与应用，内容 обширный，涵盖线性代数和矩阵分析的重要 темы。)
▮▮▮▮ⓗ Lay, David C., Steven R. Lay, and Judi J. McDonald. Linear Algebra and Its Applications. 5th ed. Pearson, 2015. (另一本 широко используемый 线性代数教材，注重概念的几何解释和应用。)
▮▮▮▮ⓘ Anton, Howard, and Chris Rorres. Elementary Linear Algebra with Applications. 11th ed. Wiley, 2013. (入门级线性代数教材，讲解清晰易懂，适合初学者。)
▮▮▮▮ⓙ 陈发来, 李翠华, 陈丽娟, 编. 矩阵分析与应用. 高等教育出版社, 2008. (国内优秀的矩阵分析教材，内容系统，讲解 подробный，适合中国学生学习。)
▮▮▮▮ⓚ 丘维声. 线性代数 (上册、下册). 清华大学出版社, 2010. (国内经典的线性代数教材，以概念清晰、逻辑严谨著称。)

② 进阶读物 (Advanced Readings)
▮▮▮▮ⓑ Horn, Roger A., and Charles R. Johnson. Topics in Matrix Analysis. Cambridge University Press, 1991. (矩阵分析的进阶 темы，深入探讨了许多高级矩阵理论和技巧。)
▮▮▮▮ⓒ Bhatia, Rajendra. Matrix Analysis: Graduate Texts in Mathematics. Springer, 1997. (从 более высокого уровня 探讨矩阵分析，内容 абстрактный 且深入，适合研究生学习。)
▮▮▮▮ⓓ Trefethen, Lloyd N., and David Bau III. Numerical Linear Algebra. SIAM, 1997. (侧重数值方法的理论分析，深入探讨了数值线性代数算法的性质和收敛性。)
▮▮▮▮ⓔ Demmel, James W. Applied Numerical Linear Algebra. SIAM, 1997. (更侧重数值线性代数的实际应用，介绍了各种数值算法及其在科学计算中的应用。)

③ 数值线性代数 (Numerical Linear Algebra)
▮▮▮▮ⓑ Quarteroni, Alfio, Riccardo Sacco, and Fausto Saleri. Numerical Mathematics. 2nd ed. Springer, 2007. (数值数学的综合教材，其中包含数值线性代数部分，系统介绍了数值计算的基本方法。)
▮▮▮▮ⓒ Higham, Nicholas J. Accuracy and Stability of Numerical Algorithms. 2nd ed. SIAM, 2002. (关注数值算法的精度和稳定性分析，是学习数值计算误差分析的重要参考书。)
▮▮▮▮ⓓ Stewart, G. W. Introduction to Matrix Computations. Academic Press, 1973. (数值矩阵计算的经典教材，内容 фундаментальный，涵盖了矩阵计算的 многих 方面。)

④ 应用领域 (Applications)
▮▮▮▮ⓑ Watkins, David S. Fundamentals of Matrix Computations. 3rd ed. Wiley, 2010. (强调矩阵计算在工程和科学领域的应用，结合实际问题讲解线性代数方法。)
▮▮▮▮ⓒ Golub, Gene H., and Dianne P. O'Leary. SIAM Classics in Applied Mathematics 13: Matrix Computations and the Gram-Schmidt Process. SIAM, 1989. (深入探讨 Gram-Schmidt 正交化过程及其在数值计算中的应用。)
▮▮▮▮ⓓ Boyd, Stephen, and Lieven Vandenberghe. Convex Optimization. Cambridge University Press, 2004. (凸优化领域的权威著作，其中大量使用了线性代数和矩阵分析的知识。)
▮▮▮▮ⓔ Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning. 2nd ed. Springer, 2009. (统计学习领域的经典教材，介绍了机器学习中常用的线性代数方法，如 PCA, SVD 等。)
▮▮▮▮ⓕ Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016. (深度学习领域的 umfassend 教材，其中线性代数是理解深度学习算法的基础。)

⑤ 在线资源 (Online Resources)
▮▮▮▮ⓑ MIT OpenCourseware 18.06 Linear Algebra: https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/ (麻省理工学院 Gilbert Strang 教授的线性代数课程，提供视频 lectures, 讲义和习题。)
▮▮▮▮ⓒ Khan Academy Linear Algebra: https://www.khanacademy.org/math/linear-algebra (可汗学院的线性代数课程，提供大量的教学视频和练习。)
▮▮▮▮ⓓ 3Blue1Brown Linear Algebra: https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab (YouTube 频道 3Blue1Brown 制作的线性代数可视化教学视频，以直观的方式 объясняет 线性代数的概念。)
▮▮▮▮ⓔ Linear Algebra and Matrix Analysis Online Notes: (许多大学和机构提供线性代数和矩阵分析的在线 notes 和讲义，可以通过搜索引擎查找。)

本参考文献列表旨在为读者提供进一步学习和研究线性代数与矩阵分析的资源，读者可以根据自身的需求和兴趣选择合适的参考资料进行深入学习。 📚