2022级卷纸

2023—2024学年第一学期

考试科目：数据科学与工程数学基础　　任课教师：黄定江

姓名：_　　学号：_

专业：_　　班级：_

题号	一	二	三	四	五	六	七	八	总分	阅卷人签名
得分

---

一、（13分）

完成以下问题：

(1) 对矩阵 \(\boldsymbol{M} = \begin{pmatrix} 5 & 3 & -1 & 3 \\ 0 & 1 & 1 & -2 \\ -5 & -3 & 4 & -4 \\ 0 & 1 & 1 & 0 \end{pmatrix}\) 进行LU分解；

(2) 设 \(A\) 对称且 \(a_{11} \neq 0\)，并假经过一步Gauss消去之后，\(A\) 具有如下形式

\[\left[\begin{array}{ll} a_{11} & a_1^{\mathrm{T}} \\ \boldsymbol{0} & A_2 \end{array}\right]\]

证明：\(A_2\) 仍是对称矩阵。

---

二、（10分）

\(\mathbb{R}^5\) 的欧氏空间。子空间 \(U \subseteq \mathbb{R}^{5}\) 和 \(\boldsymbol{x} \in \mathbb{R}^{5}\) 如下：

\[U=\text{span} \left\{ \left[\begin{array}{c}{0} \\ {-1} \\ {2} \\ {0} \\ {1}\end{array}\right],\left[\begin{array}{c}{1} \\ {-1} \\ {1} \\ {-1} \\ {1}\end{array}\right] \right\}, \quad \boldsymbol{x}=\left[\begin{array}{c}{0} \\ {1} \\ {0} \\ {0} \\ {0}\end{array}\right]\]

请确定 \(\boldsymbol{x}\) 在子空间 \(\mathbb{U}\) 上的正交投影 \(\pi_{\mathbb{U}}(\boldsymbol{x})\)。

---

三、（13分）

完成下列矩阵函数求梯度：

(1) 求函数 \(f(\boldsymbol{x})=\boldsymbol{a}^{\mathrm{T}} \boldsymbol{x}\) 和 \(g(\boldsymbol{x})=\boldsymbol{x}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{x}\) 的 Hessian 矩阵；

(2) 考虑一个两层的全连接神经网络：

\[\boldsymbol{y}=\boldsymbol{f}(\boldsymbol{x})=\mathrm{ReLU}(\boldsymbol{A}_2(\mathrm{ReLU}(\boldsymbol{A}_1\boldsymbol{x}+\boldsymbol{b}_1))+\boldsymbol{b}_2)\]

其中

\[\boldsymbol{A}_1=\begin{bmatrix} 2 & 3 \\ -2 & 1 \\ 3 & -1 \end{bmatrix}, \boldsymbol{A}_2=\begin{bmatrix} 3 & -1 & 0 \\ 1 & -2 & 2 \end{bmatrix}, \boldsymbol{b}_1=\begin{bmatrix} -1 \\ 4 \\ -2 \end{bmatrix}, \boldsymbol{b}_2=\begin{bmatrix} 2 \\ -3 \end{bmatrix}\]

假设输入为 \(\boldsymbol{x}=(1,-1)\)，并且对应的真实输出为 \(\hat{\boldsymbol{y}}=(0,1)\)，采用平方损失 \(L=\frac12\|\boldsymbol{y}-\hat{\boldsymbol{y}}\|_2^2\)。试计算函数 \(L\) 关于 \(\boldsymbol{b}_1\) 的梯度。

---

四、（13分）

完成下列问题：

(1) 设已知矩阵 \(\boldsymbol{M} \in \mathbb{R}^{m \times n}\) 的SVD分解为 \(\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\mathrm{T}}\)，请写出拼接矩阵 \(\boldsymbol{A} = [\boldsymbol{M} \quad \boldsymbol{M}]\) 的奇异值分解；

(2) 令 \(\boldsymbol{A}\) 为 \(m\times n\) 矩阵，且 \(\boldsymbol{P}\) 为 \(m\times m\) 正交矩阵。证明：\(\boldsymbol{P} \boldsymbol{A}\) 与 \(\boldsymbol{A}\) 的奇异值相同。并说明矩阵 \(\boldsymbol{P} \boldsymbol{A}\) 与 \(\boldsymbol{A}\) 的左、右奇异向量有何关系？

---

五、（12分）

已知矩阵

\[\boldsymbol{M} = \begin{pmatrix} 5 & 1 & 2 \\ -2 & -3 & 4 \\ 1 & 3 & -1 \end{pmatrix}\]

(1) 计算矩阵 \(\boldsymbol{M}\) 的 \(1\) 范数和 \(\infty\) 范数；

(2) 证明：如果矩阵 \(\boldsymbol{A} = [\boldsymbol{a}_1, \boldsymbol{a}_2, \cdots, \boldsymbol{a}_n]\) 是按列分块的，那么 \(\|\boldsymbol{A}\|_F^2 = \|\boldsymbol{a}_1\|_2^2 + \|\boldsymbol{a}_2\|_2^2 + \cdots + \|\boldsymbol{a}_n\|_2^2\)。

(3) 设 \(a_1,a_2,\cdots,a_n\) 是 \(n\) 个正数，证明：由

\[\Omega(\boldsymbol{x})=\left(\sum_{i=1}^na_ix_i^2\right)^{\frac{1}{2}}\]

定义的函数 \(\Omega: \mathbb{R}^n\to\mathbb{R}\) 是一个范数。

---

六、（12分）

求解以下问题：

(1) 假设 \(X_{1} \rightarrow X_{2} \rightarrow X_{3} \rightarrow \cdots \rightarrow X_{n}\) 是一个马尔科夫链，即

\[p\left(x_{1}, x_{2}, \ldots, x_{n}\right)=p\left(x_{1}\right) p\left(x_{2} \mid x_{1}\right) \cdots p\left(x_{n} \mid x_{n-1}\right)\]

试化简 \(I\left(X_{1} ; X_{2}, \ldots, X_{n}\right)\)。

(2) \(X\) 和 \(Y\) 是 \(\{0,1,2,3\}\) 上的独立、等概率分布的随机变量，求 \(H(X+Y)\)。

---

七、（13分）

求解下述问题：

(1) 请计算负熵函数 \(f(\boldsymbol{x})=\sum_{i=1}^{n} x_i \log x_i\) 的共轭函数。

(2) 用Lagrange乘子法求欠定方程 \(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\) 的最小二范数解，其中 \(\boldsymbol{A}\in\mathbb{R}^{m\times n}, m\leq n, \operatorname{rank}(\boldsymbol{A})=m\)。

---

八、（14分）

求解如下优化问题：

(1) 使用梯度下降法和固定步长 \(\lambda =0.1\) 计算 \(\min f(x)=(x_{1}-1)^{2}+16(x_{2}-2)^{2}\)，初始点 \(x^{(0)}=(3,2)^{T}\)，迭代至第三步后终止，请计算迭代过程中的解、梯度和函数值（第三步不用计算梯度和函数值，计算结果保留小数点后两位）。

(2) 请谈谈牛顿法与BFGS方法之间的区别与联系。