机器学习理论作业3

机器学习理论作业3

10211900416 郭夏辉

**Q1: 已知正例点\(x_1=(1,2)^T,x_2=(2,3)^T,x_3=(3,3)^T\)，负例点\(x_4=(2,1)^T,x_5=(3,2)^T\)，试求最大间隔分离平面和分类决策函数，并找出哪些点是支持向量 **

该问题可转化为最优化问题\(min_{w,b} \frac{1}{2} \|w\|^2\)

\(s.t. w_1+2w_2+b\geq1\)

\(2w_1+3w_2+b\geq1\)

\(3w_1+3w_2+b\geq1\)

\(-2w_1-w_2-b\geq1\)

\(-3w_1-2w_2-b\geq1\)

化简，可得

\(-w_1+w_2\geq2\)

\(-2w_1\geq2\)

\(2w_2\geq2\)

\(w_1+2w_2\geq2\)

\(w_2\geq2\)

易得\(w=(-1,2)^T\)时\(\frac{1}{2} \|w\|^2\)取得最小值，将其带入约束条件，可得\(b=-2\)

故最大间隔分离超平面为\(-x^{(1)}+2x^{(2)}-2=0\)

分类决策函数：\(f(x)=\text{sign}(-x^{(1)}+2x^{(2)}-2)\)

求各点到最大间隔分离超平面的距离，可得\(d_1=\frac{1}{\sqrt5},d_2=\frac{2}{\sqrt5},d_3=\frac{1}{\sqrt5},d_4=\frac{2}{\sqrt5},d_5=\frac{1}{\sqrt5}\)

故\(x_1=(1,2)^T,x_3=(3,3)^T,x_5=(3,2)^T\)这三个点为支持向量。