KNN算法的主要分為3步：首先，計(jì)算待分類樣本與已知類別的訓(xùn)練樣本之間的距離或相似度，找到與待分類樣本最近的k個(gè)樣本，稱之為待分類樣本的k個(gè)近鄰：其次，根據(jù)這些樣本所屬的類別來判斷待分類樣本的類別，如果待分類樣本的k個(gè)近鄰都屬于同一個(gè)類別，那么待分類樣本也屬于該類別：否則的話，對每一個(gè)候選類別進(jìn)行評分，按照一定的規(guī)則來確定待分類樣本的類別。

　　K近鄰算法中的分類決策規(guī)則往往遵循多數(shù)表決，多數(shù)表決是指由待分類樣本的k個(gè)近鄰（訓(xùn)練樣本）所得到的多數(shù)類別來決定輸入樣本的類別。盡管K近鄰算法可以在一定程度上有效地判斷出待分類樣本的類別，但其結(jié)果往往也伴隨著誤差，這樣的誤差文中稱為近鄰錯(cuò)誤分類率。