作业16¶

理论部分¶

习题 1. 求激活函数 $\begin{array} { r } { \sigma ( x ) = \frac { 1 } { 1 + e ^ { - x } } } \end{array}$ 的导数。

解. $\begin{array} { r } { \sigma ^ { \prime } ( x ) = \frac { e ^ { - x } } { ( 1 + e ^ { - x } ) ^ { 2 } } = \sigma ( x ) ( 1 - \sigma ( x ) ) } \end{array}$

习题2. 构建模型使得预测值与真实值的误差最小常用向量2-范数度量，求解模型过程中需要计算梯度，求梯度：

• $\begin{array} { r } { f ( A ) = \frac { 1 } { 2 } \| A x + b - y \| _ { 2 } ^ { 2 } } \end{array}$ ，求 $\frac { \partial f } { \partial A }$

• $\begin{array} { r } { f ( x ) = \frac { 1 } { 2 } \| A x + b - y \| _ { 2 } ^ { 2 } } \end{array}$ ，求 $\textstyle { \frac { \partial f } { \partial x } }$

其中 $A \in R ^ { m \times n }$ ， $x \in R ^ { n }$ ，$b,y \in R ^ { m }$

解.

\[ \begin{array}{l} \frac {\partial}{\partial A} f = \frac {\partial}{\partial A} \frac {1}{2} \left(x ^ {T} A ^ {T} A x + 2 (b - y) ^ {T} A x + (b - y) ^ {T} (b - y)\right) \\ = \frac {\partial}{\partial A} \frac {1}{2} \left(x ^ {T} A ^ {T} A x + 2 (b - y) ^ {T} A x\right) \\ = A x x ^ {T} + (b - y) x ^ {T} \\ \frac {\partial}{\partial x} f = A ^ {T} A x + A ^ {T} (b - y) \\ \end{array} \]

习题 3. 二次型是数据分析中常用函数，求 $\frac { \partial x ^ { T } A x } { \partial x }$ ， $\frac { \partial x ^ { T } A x } { \partial A }$ ，其中 $A \in R ^ { m \times m }$ ， $x \in R ^ { m }$

解. $$ \frac { \partial x ^ { T } A x } { \partial x } = ( A + A ^ { T } ) x $$

\[ \frac {\partial x ^ {T} A x}{\partial A} _ {i j} = x _ {i} x _ {j}, \frac {\partial x ^ {T} A x}{\partial A} = x x ^ {T} \]

习题 4. 利用迹微分法求解 $\frac { \partial T r ( W ^ { - 1 } ) } { \partial W }$ ，其中 $W \in R ^ { m \times m }$

解. 因为

\[ 0 = d I = d \left(W W ^ {- 1}\right) = d W W ^ {- 1} + W d W ^ {- 1} \]

\[ W d W ^ {- 1} = - d W W ^ {- 1} \]

\[ d W ^ {- 1} = - W ^ {- 1} d W W ^ {- 1} \]

所以

\[ \begin{array}{l} d T r (W ^ {- 1}) = T r (d W ^ {- 1}) \\ = T r \left(- W ^ {- 1} d W W ^ {- 1}\right) \\ = T r \left(- \left(W ^ {- 1}\right) ^ {2} d W\right) \\ \end{array} \]

即

\[ \frac {\partial T r (W ^ {- 1})}{\partial W} = - (W ^ {- T}) ^ {2} \]