摘要

邏輯回歸是用在分類問題中，而分類為題有存在兩個(gè)比較大的方向：分類的結(jié)果用數(shù)值表是，比如1和0(邏輯回歸采用的是這種)，或者-1和1(svm采用的)，還有一種是以概率的形式來反應(yīng)，通過概率來說明此樣本要一個(gè)類的程度即概率。同時(shí)分類問題通過適用的場(chǎng)合可以分為：離散和連續(xù)，其中決策樹分類，貝葉斯分類都是適用離散場(chǎng)景，但是連續(xù)場(chǎng)景也可以處理，只是處理起來比較麻煩，而邏輯回歸就是用在連續(xù)特征空間中的，并把特征空間中的超平面的求解轉(zhuǎn)化為概率進(jìn)行求解，然后通過概率的形式來找給出分類信息，最后設(shè)置一個(gè)閾值來進(jìn)行分類。

從策劃到設(shè)計(jì)制作，每一步都追求做到細(xì)膩，制作可持續(xù)發(fā)展的企業(yè)網(wǎng)站。為客戶提供網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、網(wǎng)站策劃、網(wǎng)頁設(shè)計(jì)、空間域名、虛擬空間、網(wǎng)絡(luò)營(yíng)銷、VI設(shè)計(jì)、 網(wǎng)站改版、漏洞修補(bǔ)等服務(wù)。為客戶提供更好的一站式互聯(lián)網(wǎng)解決方案,以客戶的口碑塑造優(yōu)易品牌,攜手廣大客戶,共同發(fā)展進(jìn)步。

邏輯回歸

問題描述

首先我們要明白，我們要解決的問題：給你一批數(shù)據(jù)，這一批數(shù)據(jù)特征都是連續(xù)的，并且我還知道這批數(shù)據(jù)的分類信息(x,y),x為特征，y為類別，取值為：0或者1。我們想干什么，想通過這批數(shù)據(jù)，然后再

給一個(gè)新的數(shù)據(jù)x，這個(gè)數(shù)據(jù)只存在特征，不存在類別，我們想給出分類的結(jié)果，是0還是1。下面為了方便，我們以二維空間的點(diǎn)為例進(jìn)行說明。

解決策略

遇到這個(gè)問題時(shí)，我們首先做的是把數(shù)據(jù)的特征放到空間中，看有沒有什么好的特點(diǎn)。如下，從網(wǎng)上取的圖。

這些是二維空間的點(diǎn)，我們想在空間中找到一個(gè)超平面，在二維空間中超平面的為一條直線f(x)，當(dāng)我們帶入數(shù)據(jù)時(shí)：

得到這樣的結(jié)果。其中

就是我們所要求的的直線。那么找這個(gè)直線怎么找，在機(jī)器學(xué)習(xí)中，我們要找的是一個(gè)學(xué)習(xí)模型，然后通過損失函數(shù)來進(jìn)行模型參數(shù)的求解。那么對(duì)于邏輯回歸，求邏輯回歸的參數(shù)就是w和b，那么這個(gè)損失函數(shù)應(yīng)該怎么設(shè)置。給一條數(shù)據(jù)，我們希望，他距離這個(gè)直線越遠(yuǎn)我們?cè)娇梢哉J(rèn)為能夠很好的進(jìn)行分類，即屬于這個(gè)類的可信度就越高。那么我們就需要有一個(gè)函數(shù)來反應(yīng)這個(gè)情況啊，古人也很聰明啊，使用了logistics函數(shù)：

而且這個(gè)函數(shù)又非常的好，f(x)來衡量數(shù)據(jù)距離超平面的距離二維中是直線，他被成為函數(shù)間隔，f(x)是有正負(fù)的，上圖中，在直線上面的點(diǎn)發(fā)f(x)是負(fù)的，相反位于其下的點(diǎn)事正的。這個(gè)為什么？是解析幾何的最基本的一些性質(zhì)了。

是直線，而不在這個(gè)直線上的點(diǎn)f(x)是帶入后，其實(shí)是不等于0的，但是有規(guī)律，則就可以通過這個(gè)規(guī)律來進(jìn)行劃分分類。以上面的圖為討論對(duì)象，位于上方的點(diǎn)是負(fù)的，為與下方的點(diǎn)是正的，那么當(dāng)f(x)為正，越來越大，則說明點(diǎn)在直線的下方越來越靠下，那么他分為一個(gè)類的可能性是不是越大啊，相反，在上方的時(shí)候，f(x)是負(fù)的，越來越遠(yuǎn)的時(shí)候，是不是越靠近另一個(gè)類啊。那么logistics函數(shù)不就是反應(yīng)了這個(gè)現(xiàn)象嗎？我們類別設(shè)置成0或者1，當(dāng)f(x)正向大時(shí)為1，f(x)負(fù)向大時(shí)為0，多好。下面給一下logistics的圖像(網(wǎng)上盜圖)：

這個(gè)函數(shù)是不是可以反應(yīng)出我們所說的情況。其中f(x)就是我們logistics函數(shù)的x軸的值。y可以是一個(gè)程度，h越大，則說明其分為正類1的可能性越大，h越小，則說明分為負(fù)類0可能性越大。那么在數(shù)學(xué)中可能性的度量是什么？概率啊，logistics函數(shù)的大小剛好是[0,1]之間的，多好啊。那么我們以前的求直線問題就轉(zhuǎn)化為求如下的函數(shù):

把以前的問題就轉(zhuǎn)化為求概率的問題

為什么把y放上面，我認(rèn)為這只是數(shù)學(xué)上的一種表示形式，給一個(gè)特征樣本，要么屬于0類的，要么屬于1類的，在不知道的情況下這樣表示和最后知道類別得到的概率是一樣的嘛。變化后的logistics函數(shù)其中的參數(shù)也只是包含w和b，那么我們求解超平面轉(zhuǎn)化為了求解h函數(shù)，在概率問題中，求解最優(yōu)化的損失函數(shù)是誰？這又涉及到另外一個(gè)問題，我的數(shù)學(xué)模型已經(jīng)有了，數(shù)學(xué)模型中包含一些參數(shù)，我需要進(jìn)行抽樣，得到這個(gè)問題的一些樣本，理由這些樣本來對(duì)參數(shù)進(jìn)行估計(jì)，對(duì)參數(shù)估計(jì)時(shí)需要一個(gè)損失函數(shù)。概率問題最優(yōu)化的損失函數(shù)一般用的是大似然函數(shù)，也就是通過大似然估計(jì)進(jìn)行計(jì)算。這樣大家又會(huì)問，大似然估計(jì)大化的是什么？只有知道大化的是什么的時(shí)候，我們才能構(gòu)造出似然函數(shù)啊。剛才我們說了進(jìn)行參數(shù)估計(jì)時(shí)，我們需要一個(gè)樣本，那么大似然函數(shù)大化的是這個(gè)樣本出現(xiàn)的概率大，從而來求解參數(shù)?？赡苡悬c(diǎn)抽象，在樣本空間中，樣本空間的數(shù)據(jù)很大，我們想得到含有n個(gè)對(duì)象的樣本，這樣含有n個(gè)的樣本是不是有很多很多，不同的人得到的樣本數(shù)據(jù)也不一樣，那么在我們已經(jīng)得到了這n個(gè)樣本的情況下，我們進(jìn)行參數(shù)估計(jì)，大似然估計(jì)大化的是我們已經(jīng)得到的樣本在整個(gè)樣本空間中出現(xiàn)的概率大，從而來求解參數(shù)。

大似然估計(jì)

通過上面的討論，我們很容易構(gòu)造出我們的似然函數(shù)：

這就很簡(jiǎn)單了，把上面的似然函數(shù)對(duì)數(shù)化，即：

一般有數(shù)學(xué)基礎(chǔ)的人都會(huì)知道我們這個(gè)下面就是求導(dǎo)唄，現(xiàn)在的x和y都是已知的只有w是未知的，我們要求的是找到w是我們抽到這個(gè)樣本的概率大。但是有一個(gè)問題，這樣平白無故的求的w不一定是我們這個(gè)樣本中最優(yōu)的啊，不是讓我們?cè)谡麄€(gè)樣本空間中進(jìn)行求導(dǎo)，而是我們有一個(gè)樣本，在這n個(gè)樣本中找到我們最想要那個(gè)的w，這個(gè)用什么啊，這種搜索算法最常用的就是梯度下降啊，沿著梯度的負(fù)方向來找我們想要的點(diǎn)。

1、圖中的i表示的是第i個(gè)記錄，j表示的一個(gè)記錄中的第j個(gè)特征分量

2、上面的推導(dǎo)中1→ 2為什么有求和，而后又不存在了啊，這個(gè)是和梯度下降法有關(guān)系的，梯度下降法就是在當(dāng)前點(diǎn)下找到一個(gè)梯度大的點(diǎn)作為下一個(gè)可以使用的，所有在1到2中，去掉了求和號(hào)

3、2→ 3的推導(dǎo)是根據(jù)logistics函數(shù)的性質(zhì)得到的。

如果這還是不懂，那沒有辦法了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章標(biāo)題：從另一個(gè)視角看待邏輯回歸-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://jinyejixie.com/article20/djhhco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、微信小程序、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、微信公眾號(hào)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)