一種改進(jìn)的基于粗糙集理論的特征選取方法_王作飛
文本分類是文本挖掘的重要組成部分。通過該技術(shù)可以自 動地為文檔集合中的每篇文檔確定類別, 并對它們進(jìn)行有效組 織和分類,以便檢索和分析,從而能夠使用戶方便、快捷地瀏覽 文檔,具有很高的實際應(yīng)用價值。文本分類一般分為訓(xùn)練和分類 階段,在分類階段,文本集經(jīng)過文本預(yù)處理后得到特征集。但是 特征集仍然是個高維的特征空間, 對于所有的分類算法來說維 數(shù)都太大。因此,選擇一個合適的特征方法,以降低特征空間的 維數(shù),提高分類的效率和精度,往往成為文本分類的首選任務(wù)和 關(guān)鍵。 目前,常用的特征選擇算法一般是先構(gòu)建一個評估函數(shù),對 特征集中的每個特征獨立地進(jìn)行評估每個特征獲得一個評估 值,然后根據(jù)評估值對特征進(jìn)行排序,最后選取最佳的特征作為 類別中心特征向量。而選取多少個最佳特征主要針對某一個具 體的問題通過實驗來決定?，F(xiàn)在這樣的評估函數(shù)有:文檔頻數(shù), 信息增益,期望交叉熵,互信息,CHI 統(tǒng)計法等。 作為一種處理含糊和不精確問題的新型數(shù)學(xué)工具, 粗糙集 在處理不完備、不確定、不一致數(shù)據(jù)方面顯現(xiàn)出了其特有的優(yōu) 勢。針對以往基于粗糙集理論中正區(qū)域約簡特征選取在處理不 一致決策表時存在的不足,本文通過過引入粒度函數(shù)的概念,并 以此為基礎(chǔ)采用粗糙集啟發(fā)式屬性約簡方法實現(xiàn)了特征在分 類中的重要性度量標(biāo)定和約簡, 使原來的特征維數(shù)得到一定的 降低,建立了特征選擇與文本分類之間的聯(lián)系。該方法有效地提 高了分類的效率和準(zhǔn)確度,大大降低了文本分類子集的維數(shù),生 成規(guī)則易于理解, 適應(yīng)性強(qiáng)。最后用實驗驗證了該方法的可行