史上最直白的logistic regression教程整理稿

【实例简介】
史上最直白的logistic regression教程整理稿。讲4篇博文整理成一个完整的pdf文档。且修改成学术语境。
OLoss 0;=02(01-(2x +…-20kx2,k) (m2-(01+1xn,1+…+1kxn,k) 2/0tl4 [(91-(04+1x1,1+…+k1,k)x1,y+ (y2-(01+:21+…+k2k)2y+ (13) (mh2-(01+1n,1+…+k2xn,k)xn ∑(-(1+m1+ i2, k)) 2=1 ∑(z)+∑W 要把式(13)改写成矩阵形式。令 y1,y2,…,yn] (14) 1,k 2,k (15) 1 n,1 &n k 显然,X∈Rmn×(k 式(13)的最后一个等式中的 ∑ 就可以写成 J2 m2 (16) 同理,该式中的 可以写成 WX 2 7, 所以,式(13)最终可以表示成 OLe (Y-WX 8 根据式(18),对W而言,矩阵化的计算方式就是: ∧W=(Y-WX1)X 19 所以,以梯庋下降法计算最优W的更新公式是: W+△W=W+(Y-WX2) 3线性回归求解 线性回归求解就是以代码实现(20)。本文用 Python2.7实现,需要安装 matplotlib和nmpy 代码如下 4 #!/usr/bin/env python ding: utf-8 import matplotlib. pyplot as plt fr。 m numpy import* #load data def load dataset o n=100 X =[[1,0.005+xi] for xi in range(1: 100)] X1 for xi in X, Y #grad descent solove linear regression def grad_descent(X, Y) row, col shape(x) alpha 0.001 maxiter=5000 w= ones((1, col)) for k in range(maxIter): W=W+alpha * (Y -w*x transpose())*X def maino Ⅹ,Y=1oad_ dataset() w grad_descent(X, Y) P fdraw linear regression result [xi[1] for xi in X] plt. plot arker xM= mat(X) y2 =W*xM transpose() 22=[y2[0 n range(y2 shape [1])1 plt plot(x, y22, marke It. showO) it name main i main o 在梯度下降求解函数里多了两个变量, alpha是学习速率,一般取0.001~0.01, 太大可能会导致震荡。 maxIter是最大迭代次数,它决定结果的精确度,通 常是越大越好,但越大越耗时。 不同 maxIter的拟合效果如以下各图 Figure 1: maxIter=5 oE Figure 2: maxIter=5( Igure 0 Figure 4: maxIter=1000 1.0 Figure 5: maxIter=5000 4 Logistic Regession 在线性拟合的基础上, Logistic regression Logistic regression的拟合形式如下 zi= wa (22) 其中,f(2)是 Logistic函数 根据该两式则有 Wi=f(wii) Logistic Regression对应的损失函数为 1 ∑(m-f(wa:) 如前,以梯度下降法求解。 OLoss ∑( (v-f(Wx;)( of(w. i du (25 ∑(y-fWz)(-1) af(ei a 0x;0 O(2等价于f(2),囚为只有一个自变量x 对式(1)求导,可得: f(2) (26) 根据式(1),可得 根据上两式可知,可以用f(x)表示∫(z)能减少计算量,故: (28 SS ∑(-f(Wx)( dans ∑(v-(wx)(-1)/(z)(1-f(2) ∑(-f(Wm)(-1)f(WFr;)(1-f(1 a(w 0 (29) ∑(v-W;)(-1)/(Wx;)(1-/(W 0(Wr) ∑(-f(x)(-1)f(Wr:)(1-f 2(i-f(W xi))f(Wai)(f(Wxi)-1)a.i j 对式(29)进行矩阵化,令: f(Wx1)(f(Wx1)-1) f(Wx2)(∫(W2)-1) 0 f(W.cn)(f(w n)-1 L=[f(W31),f(W c2),f(Wan) 可得 (Y-L)V I 32 0 那么,对W而言,更新公式就是 W=W-Y-LVX 至此 logistic Regression理论推导结束 5 Logistic Regression求解 依然用 python实现,代码如下 9 #!/usr/bin/env python # -* coding: utf-8 import matplotlib. pyplot as plt from numpy import #卫 oad data def load dataset o 100 [[1,0.005*xi]f XI in range(1: 100)J Y =[2*xi[11 for xi in XI return def sigi t= exp(z eturn t/(1+t) sigmoid-vec vectorize(sigmoid) #solve logistic regression def grad-descent(X, Y): Y mat(Y) row shape(x) a1pha=0.05 maxiter 5000 W= ones((1, col)) v= zeros((row, row), float32) for k in range(maxIter) oid-vec(W+X transpose()) for i in range(row): V[土,1] [0,i]*(L[0,i] W=w- alpha *(y-L)*v*X return w def main o X, Y= loaddataset o raddescent(x, y) rint w #draw im [xi[1] fo y plt plot(x, y, marker="*") M= mat(X) y2= sigmoid_vec(W*xM transpose()) 22= [y2[O, i] for i in range(y2 shape [1])1 lt plot(x, y22 marker= plt. show if name mainiT maln 10 【实例截图】
【核心代码】