机器学习入门-分类问题的拟合

   声明:本站部分内容来自互联网,如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

25

分类问题-逻辑回归

其实对于分类问题的本质还是选择合适的函数h(x),通过改变函数的系数Θ使其代价cost(i)之和J(Θ)最小.

得出合适的hθ(x)函数。

逻辑回归

分类问题不一定都是线性可分的,还有很多是非线性分类的。

回归函数选择

对于01分类问题,由于正常的线性回归方程的局限性,采用非线性模型
模型函数:hθ(x)=g(θTx)θTx可以表示为多项式如:θ0+θ1x1+θ2x2+θ3x12x2+...其中g(z)=11+e−z所以hθ(x)=11+e−θTx模型函数:h_{ heta}(x)=g( heta ^T x)\ heta^T x可以表示为多项式如: heta_0+ heta_1x_1+ heta_2x_2+ heta_3x_1^2x_2+...\ 其中g(z)= rac{1}{1+e^{-z}}\ 所以h_{ heta}(x)= rac{1}{1+e^{- heta^Tx}} 模型函数:hθ​(x)=g(θTx)θTx可以表示为多项式如:θ0​+θ1​x1​+θ2​x2​+θ3​x12​x2​+...其中g(z)=1+e−z1​所以hθ​(x)=1+e−θTx1​

代价函数选择

线性回归模型代价函数:
J(θ)=12m∑i=1m(hθ(x(i))−y(i))2使用Cost(hθ(x),y)=12(hθ(x(i))−y(i))2J( heta)= rac{1}{2m}sum_{i=1}^{m}(h_ heta(x^{(i)})-y^{(i)})^2\ 使用Cost(h_ heta(x),y)= rac{1}{2}(h_ heta(x^{(i)})-y^{(i)})^2\ J(θ)=2m1​i=1∑m​(hθ​(x(i))−y(i))2使用Cost(hθ​(x),y)=21​(hθ​(x(i))−y(i))2
这里的代价函数表示的是我们希望学习算法付出的代价

直接使用欧氏距离代价函数,会有两个问题。

  • 误差不合适的问题。
  • 非凸函数出现的多个局部最优点。

所以我们要使用交叉熵损失函数来优化。

合适的代价函数如下所示,可以使得代价函数为θ的凸函数,便于使用梯度下降算法
Cost(hθ(x),y)=−log(hθ(x))ify=1Cost(hθ(x),y)=−log(1−hθ(x))ify=0因此其误差函数J(θ)=1m∑i=1mCost(hθ(x),y)Cost(h_ heta(x),y)=-log(h_ heta(x)) if y=1\ Cost(h_ heta(x),y)=-log(1-h_ heta(x)) if y=0\ 因此其误差函数J( heta)= rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y) Cost(hθ​(x),y)=−log(hθ​(x))   if y=1Cost(hθ​(x),y)=−log(1−hθ​(x))   if y=0因此其误差函数J(θ)=m1​i=1∑m​Cost(hθ​(x),y)
其中,y只属于0或1.

这里使用了交叉熵损失函数来代替欧式距离函数。

具体区别和解析见博客:为什么不用平方误差(MSE)作为Logistic回归的损失函数

简化代价函数

因为分段函数,所以我们将其按y和(1-y)来组合即可将整个函数放在一个式子中。

使用极大似然估计法求得
J(θ)=1m∑i=1mCost(hθ(x),y)=−1m[∑i=1m(y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]使得Cost(hθ(x),y)=y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))J( heta)= rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y)\ =- rac{1}{m}[sum_{i=1}^m(y^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)}))]\ 使得Cost(h_ heta(x),y)=y^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)})) J(θ)=m1​i=1∑m​Cost(hθ​(x),y)=−m1​[i=1∑m​(y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))]使得Cost(hθ​(x),y)=y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))

求最小化J(θ)的θ组合-梯度下降

根据梯度下降算法,更新每一项θ,使其延代价函数对θ的切线方向(偏导数)下降θj:=θj−α∂∂θjJ(θ)其中J(θ)=1m∑i=1mCost(hθ(x),y)θj:=θj−α∂(1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))])∂θj根据梯度下降算法,更新每一项 heta,使其延代价函数对 heta的切线方向(偏导数)下降\ heta_j:= heta_j-lpha rac{partial}{partial heta_j}J( heta)\ 其中J( heta)= rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y)\ heta_j:= heta_j-lpha rac{partial ( rac{1}{m}[sum_{i=1}^my^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)}))])}{partial heta_j}\ 根据梯度下降算法,更新每一项θ,使其延代价函数对θ的切线方向(偏导数)下降θj​:=θj​−α∂θj​∂​J(θ)其中J(θ)=m1​i=1∑m​Cost(hθ​(x),y)θj​:=θj​−α∂θj​∂(m1​[∑i=1m​y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))])​

比较之前的欧式代价函数梯度下降:
由于J(θ)=12m∑i=1m(hθ(x(i))−y(i))2θj:=θj−α∂(1m∑i=1m12(hθ(x(i))−y(i))2)∂θj手动求导后得到具体的表达式:θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i)由于J( heta)= rac{1}{2m}sum_{i=1}^m(h_ heta(x^{(i)})-y^{(i)})^2\ heta_j:= heta_j-lpha rac{partial( rac{1}{m}sum_{i=1}^m rac{1}{2}(h_ heta(x^{(i)})-y^{(i)})^2)}{partial heta_j}\ 手动求导后得到具体的表达式:\ heta_j:= heta_j-lpha rac{1}{m}sum_{i=1}^m(h_{ heta}(x^{(i)})-y^{(i)})x_j^{(i)} 由于J(θ)=2m1​i=1∑m​(hθ​(x(i))−y(i))2θj​:=θj​−α∂θj​∂(m1​∑i=1m​21​(hθ​(x(i))−y(i))2)​手动求导后得到具体的表达式:θj​:=θj​−αm1​i=1∑m​(hθ​(x(i))−y(i))xj(i)​

之后执行梯度下降算法即可求出要求的θ

优化库函数实现

(这里用的octave语言。)

首先给出求导函数

这里使用下面公式表示代价函数
j(θ)=(θ1−5)2+(θ2−5)2j( heta)=( heta_1-5)^2+( heta_2-5)^2 j(θ)=(θ1​−5)2+(θ2​−5)2

function [jVal,gradient] = costFunction(theta)jVal = (theta(1)-5)^2+(theta(2)-5)^2;gradient=zeros(2,1);gradient(1)=2*(theta(1)-5);gradient(2)=2*(theta(2)-5);

其次调用函数

options = optimset('GradObj','on','MaxIter','100');  %%优化算法的记号
initialTheta=zeros(2,1);  %初始的梯度值
[optTheta,functionVal,exitFlag] = fminunc(@costFunction,initialTheta,options);

可以运行得出,最后的θ为[5,5]

参考资料

B站课吴恩达机器学习:https://www.bilibili.com/video/BV164411b7