跳转至

作业6

提交截至时间：2022/03/18 下周五 20:00（晚上）

理论部分 (正交)

习题 1. 求矩阵

\[ \left( \begin{array}{c c c} 1 & - 1 & 0 \\ 2 & 4 & 1 \\ 4 & 2 & 1 \end{array} \right) \]

的行空间、列空间、零空间和左零空间。

解. 先对矩阵

\[ \left( \begin{array}{c c c} 1 & - 1 & 0 \\ 2 & 4 & 1 \\ 4 & 2 & 1 \end{array} \right) \]

进行初等变换。

\[ \left(\begin{array}{c c c}1&- 1&0\\2&4&1\\4&2&1\end{array}\right)\rightarrow \left(\begin{array}{c c c}1&- 1&0\\&6&1\\&- 6&- 1\end{array}\right)\rightarrow \left(\begin{array}{c c c}1&- 1&0\\&6&1\\&&\end{array}\right) \]

所以该矩阵的秩为 2.

所以行空间为 \(s p a n \{ ( 1 , - 1 , 0 ) ^ { T } , ( 2 , 4 , 1 ) ^ { T } \}\)

列空间为 \(s p a n \{ ( 1 , 2 , 4 ) ^ { T } , ( - 1 , 4 , 2 ) ^ { T } \}\)

零空间为 \(s p a n \{ ( 1 , 1 , - 6 ) ^ { T } \}\)

左零空间为 \(s p a n \{ ( 2 , 1 , - 1 ) ^ { T } \}\)

习题 2. 求由向量 \(\left( \begin{array} { c } { 1 } \\ { 2 } \\ { 0 } \end{array} \right), \left( \begin{array} { c } { 0 } \\ { 1 } \\ { 2 } \end{array} \right)\) 张成的子空间的正交补空间。

解. 容易知道向量 \(\left( \begin{array} { c } { 4 } \\ { - 2 } \\ { 1 } \end{array} \right)\) 与向量 \(\left( \begin{array} { c } { 1 } \\ { 2 } \\ { 0 } \end{array} \right), \left( \begin{array} { c } { 0 } \\ { 1 } \\ { 2 } \end{array} \right)\) 均正交。

又向量组 \(\left( \begin{array} { c } { 4 } \\ { - 2 } \\ { 1 } \end{array} \right) , \left( \begin{array} { c } { 1 } \\ { 2 } \\ { 0 } \end{array} \right) , \left( \begin{array} { c } { 0 } \\ { 1 } \\ { 2 } \end{array} \right)\) 的秩为 3。

所以 \(L ( \left( \begin{array} { c } { { 1 } } \\ { { 2 } } \\ { { 0 } } \end{array} \right) , \left( \begin{array} { c } { { 0 } } \\ { { 1 } } \\ { { 2 } } \end{array} \right) )\) 的正交补空间为 \(L ( \left( \begin{array} { l } { 4 } \\ { - 2 } \\ { 1 } \end{array} \right))\)

习题 3. 求向量 \(( 1 , 1 , 1 ) ^ { T }\) 投影到一维子空间 \(s p a n \{ ( 1 , - 1 , 1 ) ^ { T } \}\) 的正交投影。

解. 首先求得投影矩阵

\[ P _ {\pi} = \frac {1}{3} \left( \begin{array}{c c c} 1 & - 1 & 1 \\ - 1 & 1 & - 1 \\ 1 & - 1 & 1 \end{array} \right) \]

向量 \(( 1 , 1 , 1 ) ^ { T }\) 投影到一维子空间 \(s p a n \{ ( 1 , - 1 , 1 ) ^ { T } \}\) 的正交投影为

\[ P _ {\pi} \left( \begin{array}{c} 1 \\ 1 \\ 1 \end{array} \right) = \frac {1}{3} \left( \begin{array}{c c c} 1 & - 1 & 1 \\ - 1 & 1 & - 1 \\ 1 & - 1 & 1 \end{array} \right) \left( \begin{array}{c} 1 \\ 1 \\ 1 \end{array} \right) = \frac {1}{3} \left( \begin{array}{c} 1 \\ - 1 \\ 1 \end{array} \right) \]

习题 4. 设 \(a _ { 1 } = \left( \begin{array} { c } { { 1 } } \\ { { 2 } } \\ { { - 1 } } \end{array} \right) , a _ { 2 } = \left( \begin{array} { c } { { - 1 } } \\ { { 3 } } \\ { { 1 } } \end{array} \right) , a _ { 3 } = \left( \begin{array} { c } { { 4 } } \\ { { - 1 } } \\ { { 0 } } \end{array} \right)\) , 试将向量组 \(( a _ { 1 } , a _ { 2 } , a _ { 3 } )\) 标准正交化。

解. \(\hat { \beta } _ { 1 } = \alpha _ { 1 } = \Big ( 1 , 2 , - 1 \Big ) ^ { T }\) \(\begin{array} { r } { \beta _ { 1 } = \frac { 1 } { | | \hat { \beta } _ { 1 } | | } \hat { \beta } _ { 1 } = \frac { 1 } { \sqrt { 6 } } \left( 1 , 2 , - 1 \right) ^ { T } } \end{array}\)

\[ \hat {\beta} _ {2} = \alpha_ {2} - \langle \alpha_ {2}, \beta_ {1} \rangle \beta_ {1} = (- 1, 3, 1) ^ {T} - \frac {2}{3} (1, 2, - 1) ^ {T} = \frac {5}{3} (- 1, 1, 1) ^ {T} \]
\[ \beta_ {2} = \frac {1}{| | \hat {\beta} _ {2} | |} \hat {\beta} _ {2} =\frac {1}{\sqrt {3}} \left(- 1, 1, 1\right) ^ {T} \]
\[ \begin{array}{l} \hat {\beta} _ {3} = \alpha_ {3} - \langle \alpha_ {2}, \beta_ {1} \rangle \beta_ {1} - \langle \alpha_ {2}, \beta_ {1} \rangle \beta_ {1} \\ = (4, - 1, 0) ^ {T} - \frac {1}{3} (1, 2, - 1) ^ {T} + \frac {5}{3} (- 1, 1, 1) ^ {T} \\ = \left(2, 0, 2\right) ^ {T} \\ \end{array} \]
\[ \beta_ {3} = \frac {1}{| | \hat {\beta} _ {3} | |} \hat {\beta} _ {3} = \frac {1}{\sqrt {2}} \left(1, 0, 1\right) ^ {T} \]

故标准化后的向量组为

\(\frac{1}{\sqrt{6}}\left( \begin{array} { c } { 1 } \\ { 2 } \\ { -1 } \end{array} \right) ,\frac{1}{\sqrt{3}} \left( \begin{array} { c } { -1 } \\ { 1 } \\ { 1 } \end{array} \right) , \frac{1}{\sqrt{2}}\left( \begin{array} { c } { 1 } \\ { 0 } \\ { 1 } \end{array} \right)\)

实践部分

习题 5. 利用 python 或 matlab 完成如下实验步骤，目的是通过实验了解 \(\ell _ { 1 }\) 范数相比于 \(\ell _ { 2 }\) 范数在稀疏信号恢复中的优势。

  1. 创建一个 \(n\) 维向量（信号） \(x _ { 0 }\) ，且是 \(s\) 稀疏的。即该向量仅有 \(s\) 个元素非零，其余元素均为 \(0\) 。这里要求 \(n\) 远大于 \(s\) ，例如：不妨取 \(n = 5 0 0\) , \(s = 1 0\) 。

  2. 创建一个 \(m \times n\) 维的高斯随机矩阵 \(\pmb { A }\) 作为观测矩阵。这里要求 \(m\) 略小于 \(n\) 。不妨取 \(m =\) 400, \(n = 5 0 0\) 。

  3. 得到观测向量 \(\pmb { b } = \pmb { A x } _ { 0 }\) 。

  4. 利用 \(\ell _ { 2 }\) 范数恢复随机矩阵，即求解如下优化问题：

\[ \begin{array}{l} \min \quad \| x \| _ {2} \\ s. t. \quad A \boldsymbol {x} = \boldsymbol {b} \\ \end{array} \]

假设求得最优解为 \(\tilde { { \boldsymbol { x } } }\) 。（实际上，它的最优解为 \(\begin{array} { r } { \tilde { \mathbf { x } } = \frac { 1 } { 4 } \pmb { A } ^ { T } ( \pmb { A } \pmb { A } ^ { T } ) ^ { - 1 } \pmb { b } } \end{array}\) 。在后续课程的优化部分将会介绍具体的求解方法。）

  1. 利用 \(\ell _ { 1 }\) 范数恢复随机矩阵，即求解如下优化问题：
\[ \begin{array}{l} \min \quad \| x \| _ {1} \\ s. t. \quad A x = b \\ \end{array} \]

假设求得最优解为 \(\hat { x }\) 。

  1. 试比较 \(\tilde { { \boldsymbol { x } } }\) 与 \(\hat { x }\) 谁更接近原信号 \(x _ { 0 }\) ，谁更加稀疏。（可利用

https://github.com/harrydragon/MATLAB/tree/master/MN/LAB2/compressed-sensing-tutorial/l1magic

求解该优化问题。在后续课程将会介绍优化问题的迭代求解方法。）