分类问题-逻辑回归
其实对于分类问题的本质还是选择合适的函数h(x),通过改变函数的系数Θ使其代价cost(i)之和J(Θ)最小.
得出合适的hθ(x)函数。
逻辑回归
分类问题不一定都是线性可分的,还有很多是非线性分类的。
回归函数选择
对于01分类问题,由于正常的线性回归方程的局限性,采用非线性模型
模型函数:hθ(x)=g(θTx)θTx可以表示为多项式如:θ0+θ1x1+θ2x2+θ3x12x2+...其中g(z)=11+e−z所以hθ(x)=11+e−θTx模型函数:h_{ heta}(x)=g( heta ^T x)\ heta^T x可以表示为多项式如: heta_0+ heta_1x_1+ heta_2x_2+ heta_3x_1^2x_2+...\ 其中g(z)=rac{1}{1+e^{-z}}\ 所以h_{ heta}(x)=rac{1}{1+e^{- heta^Tx}} 模型函数:hθ(x)=g(θTx)θTx可以表示为多项式如:θ0+θ1x1+θ2x2+θ3x12x2+...其中g(z)=1+e−z1所以hθ(x)=1+e−θTx1
代价函数选择
线性回归模型代价函数:
J(θ)=12m∑i=1m(hθ(x(i))−y(i))2使用Cost(hθ(x),y)=12(hθ(x(i))−y(i))2J( heta)=rac{1}{2m}sum_{i=1}^{m}(h_ heta(x^{(i)})-y^{(i)})^2\ 使用Cost(h_ heta(x),y)=rac{1}{2}(h_ heta(x^{(i)})-y^{(i)})^2\ J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2使用Cost(hθ(x),y)=21(hθ(x(i))−y(i))2
这里的代价函数表示的是我们希望学习算法付出的代价
直接使用欧氏距离代价函数,会有两个问题。
- 误差不合适的问题。
- 非凸函数出现的多个局部最优点。
所以我们要使用交叉熵损失函数来优化。
合适的代价函数如下所示,可以使得代价函数为θ的凸函数,便于使用梯度下降算法
Cost(hθ(x),y)=−log(hθ(x))ify=1Cost(hθ(x),y)=−log(1−hθ(x))ify=0因此其误差函数J(θ)=1m∑i=1mCost(hθ(x),y)Cost(h_ heta(x),y)=-log(h_ heta(x)) if y=1\ Cost(h_ heta(x),y)=-log(1-h_ heta(x)) if y=0\ 因此其误差函数J( heta)=rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y) Cost(hθ(x),y)=−log(hθ(x)) if y=1Cost(hθ(x),y)=−log(1−hθ(x)) if y=0因此其误差函数J(θ)=m1i=1∑mCost(hθ(x),y)
其中,y只属于0或1.
这里使用了交叉熵损失函数来代替欧式距离函数。
具体区别和解析见博客:为什么不用平方误差(MSE)作为Logistic回归的损失函数
简化代价函数
因为分段函数,所以我们将其按y和(1-y)来组合即可将整个函数放在一个式子中。
使用极大似然估计法求得
J(θ)=1m∑i=1mCost(hθ(x),y)=−1m[∑i=1m(y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]使得Cost(hθ(x),y)=y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))J( heta)=rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y)\ =-rac{1}{m}[sum_{i=1}^m(y^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)}))]\ 使得Cost(h_ heta(x),y)=y^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)})) J(θ)=m1i=1∑mCost(hθ(x),y)=−m1[i=1∑m(y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]使得Cost(hθ(x),y)=y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))
求最小化J(θ)的θ组合-梯度下降
根据梯度下降算法,更新每一项θ,使其延代价函数对θ的切线方向(偏导数)下降θj:=θj−α∂∂θjJ(θ)其中J(θ)=1m∑i=1mCost(hθ(x),y)θj:=θj−α∂(1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))])∂θj根据梯度下降算法,更新每一项 heta,使其延代价函数对 heta的切线方向(偏导数)下降\ heta_j:= heta_j-lpharac{partial}{partial heta_j}J( heta)\ 其中J( heta)=rac{1}{m}sum_{i=1}^mCost(h_ heta(x),y)\ heta_j:= heta_j-lpharac{partial (rac{1}{m}[sum_{i=1}^my^{(i)}logh_{ heta}(x^{(i)})+(1-y^{(i)})log(1-h_{ heta}(x^{(i)}))])}{partial heta_j}\ 根据梯度下降算法,更新每一项θ,使其延代价函数对θ的切线方向(偏导数)下降θj:=θj−α∂θj∂J(θ)其中J(θ)=m1i=1∑mCost(hθ(x),y)θj:=θj−α∂θj∂(m1[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))])
比较之前的欧式代价函数梯度下降:
由于J(θ)=12m∑i=1m(hθ(x(i))−y(i))2θj:=θj−α∂(1m∑i=1m12(hθ(x(i))−y(i))2)∂θj手动求导后得到具体的表达式:θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i)由于J( heta)=rac{1}{2m}sum_{i=1}^m(h_ heta(x^{(i)})-y^{(i)})^2\ heta_j:= heta_j-lpharac{partial(rac{1}{m}sum_{i=1}^mrac{1}{2}(h_ heta(x^{(i)})-y^{(i)})^2)}{partial heta_j}\ 手动求导后得到具体的表达式:\ heta_j:= heta_j-lpharac{1}{m}sum_{i=1}^m(h_{ heta}(x^{(i)})-y^{(i)})x_j^{(i)} 由于J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2θj:=θj−α∂θj∂(m1∑i=1m21(hθ(x(i))−y(i))2)手动求导后得到具体的表达式:θj:=θj−αm1i=1∑m(hθ(x(i))−y(i))xj(i)
之后执行梯度下降算法即可求出要求的θ
优化库函数实现
(这里用的octave语言。)
首先给出求导函数
这里使用下面公式表示代价函数
j(θ)=(θ1−5)2+(θ2−5)2j( heta)=( heta_1-5)^2+( heta_2-5)^2 j(θ)=(θ1−5)2+(θ2−5)2
function [jVal,gradient] = costFunction(theta)jVal = (theta(1)-5)^2+(theta(2)-5)^2;gradient=zeros(2,1);gradient(1)=2*(theta(1)-5);gradient(2)=2*(theta(2)-5);
其次调用函数
options = optimset('GradObj','on','MaxIter','100'); %%优化算法的记号
initialTheta=zeros(2,1); %初始的梯度值
[optTheta,functionVal,exitFlag] = fminunc(@costFunction,initialTheta,options);
可以运行得出,最后的θ为[5,5]
参考资料
B站课吴恩达机器学习:https://www.bilibili.com/video/BV164411b7










