這篇文章將為大家詳細(xì)講解有關(guān)knn和k-means有哪些區(qū)別，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了嵊泗免費(fèi)建站歡迎大家使用！

knn和k-means的區(qū)別：1、【k-means】算法典型的基于距離的聚類算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近，其相似度就越大；2、knn算法沒有明顯的前期訓(xùn)練過程，程序開始運(yùn)行時(shí)，把數(shù)據(jù)集加載到內(nèi)存后開始分類。

knn和k-means的區(qū)別：

1. k-means聚類算法過程與原理

k-means算法（k-均值聚類算法）是一種基本的已知聚類類別數(shù)的劃分算法。它是很典型的基于距離的聚類算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近，其相似度就越大。它是使用歐氏距離度量的（簡(jiǎn)單理解就是兩點(diǎn)間直線距離，歐氏距離只是將這個(gè)距離定義更加規(guī)范化，擴(kuò)展到N維而已）。它可以處理大數(shù)據(jù)集，且高效。聚類結(jié)果是劃分為k類的k個(gè)數(shù)據(jù)集。根據(jù)聚類結(jié)果的表達(dá)方式又可以分為硬 k-means(H CM)算法、模糊k-means算法(F CM)和概率k-means算法(P CM)。

1.1.基本思想

它是基于給定的聚類目標(biāo)函數(shù)，算法采用迭代更新的方法，每一次迭代過程都是向目標(biāo)函數(shù)減小的方向進(jìn)行，最終聚類結(jié)果使得目標(biāo)函數(shù)取得極小值，達(dá)到較好的分類效果

1.2 原理

原始的k-means算法首先隨機(jī)選取k個(gè)點(diǎn)作為初始聚類中心，然后計(jì)算各個(gè)數(shù)據(jù)對(duì) 象到各聚類中心的距離，把數(shù)據(jù)對(duì)象歸到離它最近的那個(gè)聚類中心所在的類； 調(diào)整后的新類計(jì)算新的聚類中心，如果相鄰兩次的聚類中心沒有任何變化，說明 數(shù)據(jù)對(duì)象調(diào)整結(jié)束，聚類準(zhǔn)則函數(shù)f已經(jīng)收斂。在每次迭 代中都要考察每個(gè)樣本的分類是否正確，若不正確，就要調(diào)整。在全部數(shù)據(jù)調(diào)整 完后，再修改聚類中心，進(jìn)入下一次迭代。如果在一次迭代算法中，所有的數(shù)據(jù) 對(duì)象被正確分類，則不會(huì)有調(diào)整，聚類中心也不會(huì)有任何變化，這標(biāo)志著f已 經(jīng)收斂，算法結(jié)束。

1.3 算法流程圖

1.4 算法初始點(diǎn)怎么選擇？

1) 選擇批次距離盡可能遠(yuǎn)的K個(gè)點(diǎn)

首先隨機(jī)選擇一個(gè)點(diǎn)作為第一個(gè)初始類簇中心點(diǎn)，然后選擇距離該點(diǎn)最遠(yuǎn)的那個(gè)點(diǎn)作為第二個(gè)初始類簇中心點(diǎn)，然后再選擇距離前兩個(gè)點(diǎn)的最近距離較大的點(diǎn)作為第三個(gè)初始類簇的中心點(diǎn)，以此類推，直至選出K個(gè)初始類簇中心點(diǎn)。

2) 選用層次聚類或者Canopy算法進(jìn)行初始聚類，然后利用這些類簇的中心點(diǎn)作為K-Means算法初始類簇中心點(diǎn)。

1.5算法中的k如何選?。?/p>

只要我們假設(shè)的類簇的數(shù)目等于或者高于真實(shí)的類簇的數(shù)目時(shí)，該指標(biāo)上升會(huì)很緩慢，而一旦試圖得到少于真實(shí)數(shù)目的類簇時(shí)，該指標(biāo)會(huì)急劇上升。類簇指標(biāo) 作為一個(gè)重要的參考指標(biāo)。

類簇的直徑是指類簇內(nèi)任意兩點(diǎn)之間的較大距離。

類簇的半徑是指類簇內(nèi)所有點(diǎn)到類簇中心距離的較大值。

1.6 優(yōu)缺點(diǎn)以及如何改進(jìn)？

使用簡(jiǎn)單，是因?yàn)樗褂昧艘粋€(gè)隨機(jī)的元素，所以它不能保證找到很好的類。 無需要一個(gè)合理初始化要聚類的個(gè)數(shù)：即要初始化K 。

2. K-最近鄰分類算法(K N N)

2.1 問題引入

K N N的思想： 從上圖中我們可以看到，圖中的數(shù)據(jù)集是良好的數(shù)據(jù)，即都打好了label，一類是藍(lán)色的正方形，一類是紅色的三角形，那個(gè)綠色的圓形是我們待分類的數(shù)據(jù)。 如果K=3，那么離綠色點(diǎn)最近的有2個(gè)紅色三角形和1個(gè)藍(lán)色的正方形，這3個(gè)點(diǎn)投票，于是綠色的這個(gè)待分類點(diǎn)屬于紅色的三角形 如果K=5，那么離綠色點(diǎn)最近的有2個(gè)紅色三角形和3個(gè)藍(lán)色的正方形，這5個(gè)點(diǎn)投票，于是綠色的這個(gè)待分類點(diǎn)屬于藍(lán)色的正方形 即如果一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中，大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。我們可以看到，K N N本質(zhì)是基于一種數(shù)據(jù)統(tǒng)計(jì)的方法！其實(shí)很多機(jī)器學(xué)習(xí)算法也是基于數(shù)據(jù)統(tǒng)計(jì)的。

2.2 K N N算法

介紹

K N N即K-Nearest Neighbor，是一種memory-based learning，也叫instance-based learning，屬于lazy learning。即它沒有明顯的前期訓(xùn)練過程，而是程序開始運(yùn)行時(shí)，把數(shù)據(jù)集加載到內(nèi)存后，不需要進(jìn)行訓(xùn)練，就可以開始分類了。 K N N也是一種監(jiān)督學(xué)習(xí)算法，通過計(jì)算新數(shù)據(jù)與訓(xùn)練數(shù)據(jù)特征值之間的距離，然后選取K(K>=1)個(gè)距離最近的鄰居進(jìn)行分類判(投票法)或者回歸。若K=1，新數(shù)據(jù)被簡(jiǎn)單分配給其近鄰的類。

步驟

1）計(jì)算測(cè)試數(shù)據(jù)與各個(gè)訓(xùn)練數(shù)據(jù)之間的距離；可以使用歐式距離的公式來進(jìn)行計(jì)算。

2）按照距離的遞增關(guān)系進(jìn)行排序；

3）選取距離最小的K個(gè)點(diǎn)（k值是由自己來確定的）

4）確定前K個(gè)點(diǎn)所在類別的出現(xiàn)頻率；

5）返回前K個(gè)點(diǎn)中出現(xiàn)頻率高的類別作為測(cè)試數(shù)據(jù)的預(yù)測(cè)分類。

特點(diǎn)

非參數(shù)統(tǒng)計(jì)方法：不需要引入?yún)?shù) K的選擇： K = 1時(shí)，將待分類樣本劃入與其最接近的樣本的類。 K = |X|時(shí)，僅根據(jù)訓(xùn)練樣本進(jìn)行頻率統(tǒng)計(jì)，將待分類樣本劃入最多的類。 K需要合理選擇，太小容易受干擾，太大增加計(jì)算復(fù)雜性。 算法的復(fù)雜度：維度災(zāi)難，當(dāng)維數(shù)增加時(shí)，所需的訓(xùn)練樣本數(shù)急劇增加，一般采用降維處理。

2.3 算法的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：簡(jiǎn)單、有效

缺點(diǎn)：計(jì)算量較大。輸出的可解釋性不強(qiáng)。需要存儲(chǔ)全部的訓(xùn)練樣本。

3. K N N與k-means的區(qū)別

關(guān)于knn和k-means有哪些區(qū)別就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

名稱欄目：knn和k-means有哪些區(qū)別-創(chuàng)新互聯(lián)
標(biāo)題URL：http://jinyejixie.com/article34/dehgpe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、網(wǎng)站改版、網(wǎng)站制作、響應(yīng)式網(wǎng)站、電子商務(wù)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)