4¶
习题1¶
使用 LU 分解方程组 \(Ax = b\)，其中
$$
A =
\begin{bmatrix}
2 & 1 & 1 \
1 & 2 & 1 \
1 & 1 & 0
\end{bmatrix}, \quad
b =
\begin{bmatrix}
2 \
0 \
0
\end{bmatrix}。
$$
解： $$ A = \begin{bmatrix} 1 & 0 & 0 \ \frac{1}{2} & 1 & 0 \ \frac{1}{2} & \frac{1}{3} & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 & 1 \ 0 & \frac{3}{2} & \frac{1}{2} \ 0 & 0 & -\frac{2}{3} \end{bmatrix} = LU $$
习题2¶
使用 Cholesky 分解解如下方程组
$$
\begin{bmatrix}
2 & 1 & & \
1 & 2 & 1 & \
& 1 & 2 & 1 \
& & 1 & 2
\end{bmatrix}
\begin{bmatrix}
x_1 \
x_2 \
x_3 \
x_4
\end{bmatrix} =
\begin{bmatrix}
1 \
0 \
0 \
-1
\end{bmatrix}。
$$
解：
$$
A = GG^T
\
G=\begin{bmatrix} \sqrt{2} & 0 & 0 & 0 \ \frac{\sqrt{2}}{2} & \frac{\sqrt{6}}{2} & 0 & 0 \ 0 & \frac{\sqrt{6}}{3} & \frac{2\sqrt{3}}{3} & 0 \ 0 & 0 & \frac{\sqrt{3}}{2} & \frac{\sqrt{5}}{2} \end{bmatrix}
\
GG^T \mathbf{x}= \mathbf{b}
\
G \mathbf{x_1}= \mathbf{b}
\
\mathbf{x_1}=\begin{bmatrix}
\frac{\sqrt{2}}{2} \
-\frac{\sqrt{6}}{6} \
\frac{\sqrt{3}}{6} \
-\frac{\sqrt{5}}{2}
\end{bmatrix}
\
G^T\mathbf{x}=\mathbf{x_1}
\
\mathbf{x}=\begin{bmatrix}
1 \
-1 \
1 \
-1
\end{bmatrix}
$$
习题3¶
利用 QR 分解求解下述线性方程组：
$$
\begin{bmatrix}
1 & 2 & 2 \
2 & 1 & 2 \
1 & 2 & 1
\end{bmatrix}
\begin{bmatrix}
x_1 \
x_2 \
x_3
\end{bmatrix} =
\begin{bmatrix}
1 \
2 \
3
\end{bmatrix}。
$$
解： $$ A = \begin{bmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} \ \frac{2}{\sqrt{6}} & -\frac{1}{\sqrt{3}} & 0 \ \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} \end{bmatrix} \begin{bmatrix} \sqrt{6} & \sqrt{6} & \frac{7}{\sqrt{6}} \ 0 & \sqrt{3} & \frac{1}{\sqrt{3}} \ 0 & 0 & \frac{1}{\sqrt{2}} \end{bmatrix} = QR $$ 因此， $$ \mathbf{x} = \begin{bmatrix} \sqrt{6} & \sqrt{6} & \frac{7}{\sqrt{6}} \ 0 & \sqrt{3} & \frac{1}{\sqrt{3}} \ 0 & 0 & \frac{1}{\sqrt{2}} \end{bmatrix}^{-1} \begin{bmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} \ \frac{2}{\sqrt{6}} & -\frac{1}{\sqrt{3}} & 0 \ \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} \end{bmatrix}^T \begin{bmatrix} 1 \ 2 \ 3 \end{bmatrix}=\begin{bmatrix} \frac{7}{3} \ \frac{4}{3} \ -2 \end{bmatrix} $$
习题4¶
设
$$
A =
\begin{bmatrix}
1 & 2 \
3 & 4 \
5 & 6
\end{bmatrix}, \quad
b =
\begin{bmatrix}
1 \
1 \
1
\end{bmatrix}。
$$
用正规化方法求对应的 LS 问题的解。
解： 该 LS 问题的解就是下列正规化方程组的解：\(A^TAx=A^Tb\)
即 $$ \begin{bmatrix} 35 & 44 \ 44 & 56 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \end{bmatrix} = \begin{bmatrix} 9 \ 12 \end{bmatrix} $$ 解得：\(x=(−1,1)^T\) 对于非满秩的 \(A\)
也可以先行变换后消去多余行再对 LS 问题求解。
习题5¶
利用 QR 分解求对应的 LS 问题的全部解。【update: 方法不限】
解： 该 LS 问题的解就是下列正规化方程组的解： $$ \begin{bmatrix} 6 & 3 & 1 & 1 \ 3 & 9 & 3 & 3 \ 1 & 3 & 1 & 1 \ 1 & 3 & 1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \ x_3 \ x_4 \end{bmatrix} = \begin{bmatrix} 4 \ 3 \ 1 \ 1 \end{bmatrix} $$ 初等行变换得到同解方程组： $$ \begin{bmatrix} 1 & 3 & 1 & 1 \ 0 & 15 & 5 & 5 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \ x_3 \ x_4 \end{bmatrix} = \begin{bmatrix} 1 \ 2 \end{bmatrix} $$ 从而： $$ \begin{bmatrix} 1 & 3 \ 0 & 15 \end{bmatrix} \begin{bmatrix} x_1 \ x_2 \end{bmatrix} = \begin{bmatrix} 1 - x_3 - x_4 \ 2 - 5x_3 - 5x_4 \end{bmatrix} $$ 即： $$ \begin{bmatrix} x_1 \ x_2 \end{bmatrix} = \begin{bmatrix} \frac{3}{5} \ \frac{2}{15} - \frac{1}{3}x_3 - \frac{1}{3}x_4 \end{bmatrix} $$ 其中 \(x_3, x_4 \in \mathbb{R}\)。
习题6¶
设 \(\mathbf{A} \in \mathbb{R}^{m \times n}\) 且存在 \(\mathbf{X} \in \mathbb{R}^{n \times m}\) 使得对于每一个 \(\mathbf{b} \in \mathbb{R}^m\)，\(\mathbf{x} = \mathbf{Xb}\) 均极小化 \(\|\mathbf{Ax} - \mathbf{b}\|_2^2\)。 证明：
$$
\mathbf{AXA = A} \quad \text{和} \mathbf{\quad (AX)^T = AX}。
$$
证明：
根据范数的非负性，极小化 \(\|\mathbf{Ax} - \mathbf{b} \|_2^2\) 等价于极小化 \(\|\mathbf{Ax} - \mathbf{b}\|_2\)
由 \(\mathbf{b}\) 的任意性，取 \(\mathbf{b}\) 分别为 \(A\) 的每一列 \(\mathbf{a_1, a_2, \cdots, a_n}\)，则显然，若 \(\mathbf{x}\) 极小化 \(\|\mathbf{Ax} - \mathbf{a_i}\|_2\) ，\(\mathbf{x}\) 可以取第 \(i\) 个元素为 1，其余元素为 0 的向量，因此 \(\mathbf{X}\) 使得 \(\mathbf{x = Xa_i}\) 最小化的\(\|\mathbf{AXa_i} - \mathbf{a_i}\|_2\) 这样 \(\mathbf{AXa_i} =\mathbf{a_i}\)，即\(\mathbf{AXA=A}\)。
因为对于每一个 \(\mathbf{b} \in \mathbb{R}^m\)，\(\mathbf{x = Xb}\) 均极小化 \(\|\mathbf{Ax} - \mathbf{b}\|_2\)。有\(\mathbf{A^T AXb=A^T b}\)
由于 \(\mathbf{b}\) 的任意性，有\(\mathbf{A^T Ax=A^T}\)
等式两边同时乘以 \(\mathbf{X^T}\)，有
\(\mathbf{X^T A^T AX=X^T A^T}\) 即\(\mathbf{\quad (AX)^T (AX)= (AX)^T}\)
所以
\(\mathbf{AX = (AX)^T (AX) = (AX)^T}\)
证毕。
习题7¶
利用等式 $$ |\mathbf{A}(\mathbf{x} + \alpha \mathbf{w}) - \mathbf{b}|_2^2 = |\mathbf{Ax} - \mathbf{b}|_2^2 + 2\alpha \mathbf{w}^T \mathbf{A}^T (\mathbf{Ax} - \mathbf{b}) + \alpha^2 |\mathbf{Aw}|_2^2， $$ 证明：
如果 \(\mathbf{x} \in \mathbf{X}_\text{LS}\)，那么
$$
\mathbf{A^T A x = A^T b}
$$
设$ f(\alpha)= |\mathbf{A}(\mathbf{x}+\alpha\mathbf{w})-\mathbf{b}|2^2 \(，由于\)\mathbf{x}\in\mathbf{X }\(，说明当\) \alpha=0 \(时，函数取极小点。由于\)f\(是关于\)\alpha\(的二次函数，故在\)\alpha=-\frac{2\mathbf{w^{T}}\mathbf{A^{T}}(\mathbf{A}\mathbf{x}-\mathbf{b})}{2|\mathbf{A}\mathbf{w}|_2^2}\(取得极值点。代入\)\alpha=0$，有
\(\mathbf{w^{T}A^{T}(Ax-b)=0}\)
又由于\(\mathbf{w}\)的任意性，有\(\mathbf{A^T A x = A^T b}\)