跳转至

2021级卷纸

《数据科学与工程数学基础》笔试试卷 　2023.2

学院：数据科学与工程学院　　考试形式：闭卷　　所需时间：120分钟

考生姓名：__　　学号：_　　专业：_____　　任课教师：黄定江

题目 一 二 三 四 五 六 七 八 总分
满分 13 12 12 13 13 12 13 12 100
得分
阅卷人

一、（13分）

假设 \(Q \in \mathbb{R}^{n \times n} \backslash\{0\}\) 是一个投影矩阵。

(1) 证明：\(Q z=z, \ \forall z \in \mathcal{R}(Q)\)以及\(Q y-y \in \mathcal{N}(Q), \ \forall y \in \mathbb{R}^n\)。

(2) 证明：\(Q\)的特征值\(\lambda \in \Lambda(Q) \subseteq\{0,1\}\)。

(3) 假设\(\mathcal{R}(Q)=\operatorname{span}\left(u_1, \ldots, u_r\right)\) ，\(\mathcal{N}(Q)=\operatorname{span}\left(v_{r+1}, \ldots, v_n\right)\) 这里\(r\)表示投影矩阵的秩，请据此写出\(Q\)的特征分解 \(Q=X D X^{-1}\)的具体形式。

(4) 证明：当 \(Q \neq I_n\)， \(\operatorname{det}(Q)=0\)。

二、（12分）

已知矩阵

\[\boldsymbol{M} = \begin{pmatrix} 0 & -3 & 3 \\ 0 & 0 & 4 \\ 2 & 1 & 1 \end{pmatrix}\]

(1) 先求矩阵\(\boldsymbol{M}\)的QR分解，然后根据QR分解求解方程组\(\boldsymbol{M} \boldsymbol{x} = \boldsymbol{b}\)，其中\(\boldsymbol{b}=[6, 4, 1]^\top\)；

(2) 请根据你对LU分解、Cholesky分解和QR分解的理解，谈谈它们之间的联系与差异。

三、（12分）

完成下列矩阵函数求梯度：

(1) 求行列式函数\(f(\boldsymbol{X})=|\boldsymbol{X}^3|\)的梯度矩阵，其中变量\(\boldsymbol{X} \in \mathbb{R}^{n\times n}\)非奇异；

(2) 求迹函数\(f(\boldsymbol{X}) = \operatorname{Tr}(\boldsymbol{X}^\top\boldsymbol{X}^{-1}\boldsymbol{A})\)的梯度矩阵，其中变量\(\boldsymbol{X} \in \mathbb{R}^{n\times n}\)非奇异。

四、（13分）

矩阵

\[\boldsymbol{A} = \begin{pmatrix} 7/5 & -1/5 \\ 1/5 & 7/5 \\ 0 & 0 \end{pmatrix}\]

(1) 计算矩阵 \(\boldsymbol{A}\) 的SVD分解；

(2) 假设\(\boldsymbol{M}\)是任意一个非奇异\(n \times d\)的矩阵，已知其奇异值分解为\(\boldsymbol{M} = \boldsymbol{U} \Sigma \boldsymbol{V}^\top\)，其中\(\boldsymbol{U} = [u_1, u_2, \cdots, u_n]\)，\(\Sigma = \operatorname{diag}(\lambda_1, \lambda_2, \cdots, \lambda_n)\)，\(\boldsymbol{V} = [v_1, v_2, \cdots, v_n]\)。请分别写出矩阵\(\boldsymbol{M}\)的逆矩阵的SVD分解；

(3) 请写出(2)中\(\boldsymbol{M}\)的转置矩阵的SVD分解。

五、（13分）

已知矩阵

\[\boldsymbol{M} = \begin{pmatrix} 2 & 0 \\ -1 & 2 \\ 0 & 3 \end{pmatrix}\]

(1) 计算矩阵 \(\boldsymbol{M}\) 的 \(1\) 范数和\(\infty\)范数；

(2) 计算矩阵 \(\boldsymbol{M}\) 的 \(F\) 范数和\(2\)范数。

(3) 试比较任意矩阵\(\boldsymbol{A}\)的 \(F\) 范数和\(2\)范数的大小，并给出理由。

六、（12分）

求解以下问题：

(1) 证明：Gauss概率密度函数的累积分布函数

\[\Phi(x)=\frac{1}{\sqrt{2\pi}}\int^{x}_{-\infty}e^{-u^{2}/2}du\]

是对数-凹函数。即 \(\log(\Phi(x))\) 是凹函数。

(2) 设总体 \(X \sim E(\theta), X_{1}, X_{2}, \ldots, X_{n}\) 为来自总体 \(X\) 的样本，\(\theta\) 的先验分布为指数分布 \(E(\lambda)\)（\(\lambda\) 已知），求 \(\theta\) 的最大后验估计。

七、（13分）

求解下述问题：

(1) 写出下述非线性规划的KKT条件，并求解

\[\begin{aligned} \quad \texttt{maximize} \quad & f(x)=(x-4)^2 \\ \texttt{suject to} \quad & 1\leq x \leq 5 \end{aligned}\]

(2) 用Lagrange乘子法证明：矩阵 \(\boldsymbol{A}\in\mathbb{R}^{m\times n}\) 的2范数

\[\|\boldsymbol{A}\|_{2}=\max_{\|\boldsymbol{x}\|_2=1,\boldsymbol{x}\in\mathbb{R}^n}\|\boldsymbol{A}\boldsymbol{x}\|_{2}\]

的平方是 \(\boldsymbol{A}^{\mathrm{T}}\boldsymbol{A}\) 的最大特征值。

八、（12分）

求解如下优化问题：

(1) 考虑问题

\[\min f(\boldsymbol{x})=3 x_1^2+3 x_2^2-2x_1^2 x_2\]

从初始点\(\boldsymbol{x}^{(0)}=(0,1)^{\mathrm{T}}\)出发，写出用最速下降法迭代两步的求解过程，并说明迭代是否可以终止。

(2) 尽管牛顿法在求解无约束优化问题时，具有更高阶的收敛速度，但在处理大规模问题时，该方法涉及的Hessian矩阵及其逆矩阵的计算是非常耗时的。因此，研究者们探究了对Hessian矩阵逆近似的迭代方法，也就是拟牛顿法或变尺度法。通常这样近似Hessian矩阵或逆矩阵需要保持原有的性质，即满足割线方程：

\[\Delta x^{(k)} = \bar{H}^{(k+1)} \Delta g^{(k)}\]

其中\(\bar{H}^{(k)}\)表示矩阵的Hessian矩阵逆的近似。如果已经得到上一轮迭代时的近似\(\bar{H}^{(k)}\)，则一般的做法是通过秩一修正或秩二修正得到下一轮的近似矩阵\(\bar{H}^{(k+1)}\)。当采用秩二修正时，便得到著名的DFP法。现已知第\(k\)次迭代时的\(\Delta x^{(k)}, \bar{H}^{(k)}, \Delta g^{(k)}\)，请给出下一轮迭代的Hessian矩阵逆的近似的推导过程。