作业20

理论部分

习题 1. 假设总体 \(X \sim \mathit { N } \left( \mu , \sigma ^ { 2 } \right)\) ( \(\sigma ^ { 2 }\) 已知 ), \(X _ { 1 } , X _ { 2 } , \ldots , X _ { n }\) 为来自总体 \(X\) 的样本, 由过去的经验和知识, 我们可以确定 \(\mu\) 的取值比较集中在 \(\mu _ { 0 }\) 附近, 离 \(\mu _ { 0 }\) 越远, \(\mu\) 取值的可能性越小, 于是我们假定 \(\mu\) 的先验分布为正态分布

\[ \pi (\mu) = \frac {1}{\sqrt {2 \pi \sigma_ {\mu} ^ {2}}} \exp \left[ - \frac {1}{2 \sigma_ {\mu} ^ {2}} \left(\mu - \mu_ {0}\right) ^ {2} \right] \quad \left(\mu_ {0}, \sigma_ {\mu} \text {已 知}\right) \]

求 \(\mu\) 的后验概率分布。

解. 样本分布密度为

\[ q (\mathbf {x} \mid \mu) = \frac {1}{\sigma^ {n} (2 \pi) ^ {n / 2}} \exp \left[ - \frac {1}{2 \sigma^ {2}} \sum_ {i = 1} ^ {n} \left(x _ {i} - \mu\right) ^ {2} \right] \]

于是后验密度函数为

\[ \begin{array}{l} h (\mu \mid \mathbf {x}) = \frac {g (\mathbf {x} \mid \mu) \cdot \pi (\mu)}{f _ {\mathbf {x}} (\mathbf {x})} = \frac {q (\mathbf {x} \mid \mu) \cdot \pi (\mu)}{\int_ {- \infty} ^ {+ \infty} q (\mathbf {x} \mid \mu) \cdot \pi (\mu) d \mu} \\ \propto \exp \left[ - \frac {1}{2 \sigma^ {2}} \sum_ {i = 1} ^ {n} \left(x _ {i} - \mu\right) ^ {2} \right] \cdot \exp \left[ - \frac {1}{2 \sigma_ {\mu} ^ {2}} \left(\mu - \mu_ {0}\right) ^ {2} \right] \\ \end{array} \]

化简得

\[ h (\mu \mid \mathbf {x}) \propto \exp \left[ - \frac {(\mu - t) ^ {2}}{2 \eta^ {2}} \right] \]

其中 \(\begin{array} { r } { t = \frac { \frac { n } { \sigma ^ { 2 } } \bar { x } + \frac { 1 } { \sigma _ { \mu } ^ { 2 } } \mu _ { 0 } } { \frac { n } { \sigma ^ { 2 } } + \frac { 1 } { \sigma _ { \mu } ^ { 2 } } } } \end{array}\) ， \(\begin{array} { r } { \eta ^ { 2 } = \frac { 1 } { \frac { n } { \sigma ^ { 2 } } + \frac { 1 } { \sigma _ { \mu } ^ { 2 } } } } \end{array}\) , 于是

\[ \mu \mid \mathbf {x} \sim N \left(\frac {\frac {n}{\sigma^ {2}} \bar {x} + \frac {1}{\sigma_ {\mu} ^ {2}} \mu_ {0}}{\frac {n}{\sigma^ {2}} + \frac {1}{\sigma_ {\mu} ^ {2}}}, \frac {1}{\frac {n}{\sigma^ {2}} + \frac {1}{\sigma_ {\mu} ^ {2}}}\right). \]

习题 2. 假设总体 \(X \sim P ( \lambda ) , X _ { 1 } , X _ { 2 } , . . . , X _ { n }\) 为来自总体 \(X\) 的样本, 假定 \(\lambda\) 的先验分布为伽玛分布 \(\Gamma ( \alpha , \beta )\) , 求 \(\lambda\) 的后验期望估计（平方损失下的贝叶斯估计）。

解. 因为 \(\lambda\) 的先验密度函数 \(\pi ( \lambda )\) 为伽玛分布 \(\Gamma ( \alpha , \beta )\) , 即

\[ \pi (\lambda) \propto \lambda^ {\alpha - 1} e ^ {- \beta \lambda} \]

分布密度函数为:

\[ q (\mathbf {x} \mid \lambda) = \frac {\lambda^ {\sum_ {i = 1} ^ {n} x _ {i}}}{x _ {1} ! x _ {2} ! \dots , x _ {n} !} e ^ {- n \lambda} \propto \lambda^ {\sum_ {i = 1} ^ {n} x _ {i}} e ^ {- n \lambda} \]

所以

\[ h (\lambda \mid \mathbf {x}) \propto \lambda^ {\alpha + \sum_ {i = 1} ^ {n} x _ {i} - 1} e ^ {- (\beta + n) \lambda} \]

即

\[ \lambda \mid \mathbf {x} \sim \Gamma \left(\alpha + \sum_ {i = 1} ^ {n} x _ {i}, \beta + n\right) \]

故 \(\lambda\) 的后验期望估计为

\[ \hat {\lambda} = \frac {\alpha + \sum_ {i = 1} ^ {n} x _ {i}}{\beta + n} = \frac {n}{\beta + n} \bar {x} + \frac {\beta}{\beta + n} \frac {\alpha}{\beta} \]

它是样本均值 \(\bar { x }\) 和先验分布 \(\Gamma ( \alpha , \beta )\) 的均值 \(\frac { \alpha } { \beta }\) 的加权平均。

习题 3. 下面的集合哪些是凸集?

(a) 平板，即形如 \(\left\{ x \in \mathbf { R } ^ { n } | \alpha \leqslant a ^ { T } x \leqslant \beta \right\}\) 的集合.

(b) 矩形，即形如 \(\{ x \in \mathbf { R } ^ { n } | \alpha _ { i } \leqslant x _ { i } \leqslant \beta _ { i } , i = 1 , \cdot \cdot \cdot , n \}\) 的集合。当 \(n > 2\) 时，矩形有时也称为超矩形.

(c) 楔形，即 \(\left\{ x \in \mathbf { R } ^ { n } | a _ { 1 } ^ { T } x \leqslant b _ { 1 } , a _ { 2 } ^ { T } x \leqslant b _ { 2 } \right\}\) 。

(d)距离给定点比距离给定集合近的点构成的集合，即

\[ \{x \mid \| x - x _ {0} \| _ {2} \leqslant \| x - y \| _ {2}, \forall y \in S \} \]

其中 \(S \subseteq \mathbf { R } ^ { n }\) 。

解. (a) 平板是两个半空间的交集，因此是一个凸集。

(b) 矩形是有限个半空间的交集，因此是一个凸集。

(c) 楔形是两个半空间的交集，因此是一个凸集。

(d)该集合可以写为：

\[ \bigcap_ {y \in S} \left\{x \mid \| x - x _ {0} \| _ {2} \leq \| x - y \| _ {2} \right\} \]

由于它是半空间的交集，因此是一个凸集。