作业10

提交截至时间：2022/12/19 周一 12:00（中午）

习题 1. 考虑以下概率图模型

图 1: 概率图模型

i) 对上图, 证明 \(A \perp\!\!\!\perp B \mid C\) ;（即 \(A\) 和 \(B\) 在 \(C\) 的条件下独立）

ii) 对中图, 证明 \(A \perp\!\!\!\perp B \mid C\) ;

iii) 对下图, 证明 \(A \perp\!\!\!\perp B \mid \emptyset\) .

解.

i) $$ p (A, B \mid C) = \frac {p (A , B , C)}{p (C)} = \frac {p (A \mid C) p (B \mid C) p (C)}{p (C)} = p (A \mid C) p (B \mid C) $$

ii)

\[ \begin{array}{l} p (A, B \mid C) = \frac {p (A , B , C)}{p (C)} = \frac {1}{p (C)} p (B \mid C) p (C \mid A) p (A) \\ = p (B \mid C) \frac {p (C \mid A) p (A)}{p (C)} = p (B \mid C) p (A \mid C), \\ \end{array} \]

iii)

\[ p (A, B) = \sum_ {C} p (A, B, C) = \sum_ {C} p (C \mid A, B) p (A) p (B) = p (A) p (B), \]

习题 2. 下面的函数哪些是凸函数? 请说明理由。

1. \(f ( x ) = e ^ { x } + 1 , x \in \mathbb { R }\)

2. \(f ( \boldsymbol { x } ) = \operatorname* { m a x } ( \| \boldsymbol { A } \boldsymbol { x } + \boldsymbol { b } \| _ { 2 } , \| \boldsymbol { x } ^ { T } \boldsymbol { x } \| _ { 1 } ) , \boldsymbol { A } \in \mathbb { R } ^ { m \times n } , \boldsymbol { x } \in \mathbb { R } ^ { n } , \boldsymbol { b } \in \mathbb { R } ^ { m }\)

3. \(f ( x ) = - \cos x , x \in [ - \pi / 2 , \pi / 2 ]\)

解. 1. \(f ^ { \prime \prime } ( x ) = e ^ { x } > 0\) 所以是凸函数

1. 因为 \(\| \| _ { 2 } , \| \| _ { 1 }\) 是凸函数，所以 \(\| A x + b \| _ { 2 } , \| x ^ { T } x \| _ { 1 }\) 是凸函数，max 是保凸运算，所以 \(f ( x )\) 是凸函数。

2. \(f ^ { \prime \prime } ( x ) = \cos x > 0 ,x \in [ - \pi / 2 , \pi / 2 ]\) 所以是凸函数

习题 3. 证明: Gauss 概率密度函数的累积分布函数 \(\begin{array} { r } { \Phi ( x ) = \frac { 1 } { \sqrt { 2 \pi } } \int _ { - \infty } ^ { x } e ^ { - u ^ { 2 } / 2 } d u } \end{array}\) 是对数-凹函数. 即 \(\log ( \Phi ( x ) )\) 是凹函数。

解. 由题意得,

\[ \Phi (x) = \frac {1}{\sqrt {2 \pi}} \int_ {- \infty} ^ {x} e ^ {- u ^ {2} / 2} d u \]

\[ \Phi^ {\prime} (x) = \frac {1}{\sqrt {2 \pi}} e ^ {- x ^ {2} / 2} \]

\[ \Phi^ {\prime \prime} (x) = \frac {1}{\sqrt {2 \pi}} e ^ {- x ^ {2} / 2} (- x) \]

\[ \left(\Phi^ {\prime} (x)\right) ^ {2} = \frac {1}{2 \pi} e ^ {- x ^ {2}} \]

\[ \Phi (x) \log \Phi^ {\prime \prime} (x) = \frac {1}{2 \pi} \int_ {- \infty} ^ {x} e ^ {- u ^ {2} / 2} d u \cdot e ^ {- x ^ {2} / 2} (- x) \]

当 \(x \geq 0\) 时, \(( \Phi ^ { ' } ( x ) ) ^ { 2 } \geq 0 \geq \Phi ( x ) \Phi ^ { '' } ( x ) .\)

当 \(x < 0\) 时, 由于 \(\textstyle { \frac { u ^ { 2 } } { 2 } }\) 是凸函数, 则

\[ \frac {u ^ {2}}{2} \geq \frac {x ^ {2}}{2} + (u - x) x \geq x u - \frac {x ^ {2}}{2} \]

所以,

\[ \begin{array}{l} \int_ {- \infty} ^ {x} e ^ {- u ^ {2} / 2} d u \leq \int_ {- \infty} ^ {x} e ^ {\frac {x ^ {2}}{2} - x u} d u \\ = e ^ {\frac {x ^ {2}}{2} \cdot \frac {e ^ {- x u}}{- x} \Big | _ {u = - \infty} ^ {x}} \\ = e ^ {\frac {x ^ {2}}{2}} \cdot \frac {e ^ {- x ^ {2}}}{- x} \\ \end{array} \]

因此 \(\begin{array} { r } { \Phi ( x ) \Phi ^ { '' } ( x ) \le \frac { 1 } { 2 \pi } e ^ { - x ^ { 2 } } = ( \Phi ^ { ' } ( x ) ) ^ { 2 } } \end{array}\) , \(\Phi ( x )\) 是对数凹函数.

习题 4. 计算函数 \(f ( x )\) 的共轭函数，以及共轭函数的定义域。

(1) \(f ( x ) = - \log x\)

(2) \(f ( x ) = e ^ { x }\)

解. \(( 1 ) f ( x ) = - \log x\) ，定义域为 \(d o m f = x | x > 0\) 。当 \(y < 0\) 时，函数 \(x y + \log x\) 无上界，当 \(y \le 0\) 时，在 \(x = - 1 / y\) 处函数达到最大值。因此，定义域为 \(d o m f ^ { * } = \{ y | y < 0 \}\) ，共轭函数为 \(f ^ { * } ( y ) = - \log ( - y ) - 1 ( y < 0 )\)

\(( 2 ) f ( x ) = e ^ { x }\) 。当 \(y < 0\) 时，函数 \(x y - e ^ { x }\) 无界。当 \(y > 0\) 时，函数 \(x y - e ^ { x }\) 在 \(x = \log y\) 处达到最大值。因此， \(f ^ { * } ( y ) = y \log y - y\) 。当 \(y = 0\) 时， \(f ^ { * } ( y ) = \operatorname* { s u p } _ { x } - e ^ { x } = 0\) ，综上， \(d o m f ^ { * } = \{ y | y \geq 0 \}\) ，\(f ^ { * } ( y ) = y \log y - y\) 。(规定 \(0 \log 0 = 0\) ) 。