在之前的實(shí)驗(yàn)中得到了不在詞向量里的詞與分詞結(jié)果，結(jié)果有500多個(gè)詞不在詞向量里，解決方案就是重新分詞，或再追加訓(xùn)練這些詞到詞向量里。但后者相對(duì)麻煩且目前樣本量不大。我跟據(jù)詞向量的作者[6]所使用的分詞工具來(lái)分詞，會(huì)比不同工具（jieba）的效果要好，因?yàn)槎际峭荒Ｊ降姆衷~，分出來(lái)的詞應(yīng)該都會(huì)存在于大型語(yǔ)料庫(kù)中。實(shí)驗(yàn)證明思路是對(duì)的，最后結(jié)果是只有60幾個(gè)詞不在詞向量里，其中大部分為名詞，還有些為因語(yǔ)音翻譯問(wèn)題所造成的出錯(cuò)連詞，所有這些詞也只出現(xiàn)一次，這部分可以考慮最后刪去也不會(huì)影響結(jié)果。改善未出現(xiàn)詞是個(gè)關(guān)鍵步驟，因?yàn)榇撕竽Ｐ蜁?huì)用到詞向量，如果未出現(xiàn)詞過(guò)多，會(huì)影響詞向量效果。

問(wèn)題：不過(guò)最后HANLP分詞影響了實(shí)驗(yàn)判斷結(jié)果，準(zhǔn)確率從93%（jieba分詞，同模型同參數(shù)）下降到90%。

實(shí)驗(yàn)：使用HanLP分詞[1][2]

1,前期準(zhǔn)備，（環(huán)境ubuntu，python3）安裝JAVA-10[3]（hanlp是JAVA開(kāi)發(fā)的，即使使用python調(diào)用pyhanlp需要借助java）, jpype（python中虛擬java環(huán)境），hanlp（開(kāi)源中文處理工具，不只是分詞還有各種工具），hanlp的root路徑配置及data數(shù)據(jù)包放置[4]

2,主要程序[5]

使用的是HANLP的普通分詞功能，另外需注意，hanlp.segment()不能直接輸出或賦值給python，因?yàn)槠涫莏ava環(huán)境中數(shù)據(jù)，所以只有轉(zhuǎn)為str（）后，再進(jìn)行處理，否則會(huì)報(bào)錯(cuò)#A fatal error。（另外還有其他java與python數(shù)據(jù)對(duì)應(yīng)問(wèn)題，在這里沒(méi)遇到，請(qǐng)參考其他）

詞向量選用的是“Mixed-large綜合”[6]，其包括百度wiki百科、人民日?qǐng)?bào)等，總共1293214個(gè)詞。

Hanlp的中部份功能沒(méi)法使用，例如精確分詞CRF。另外，要先加載詞向量再加載java虛擬環(huán)境。#A fatal error has been detected by the Java Runtime Environment

3,實(shí)驗(yàn)結(jié)果

（模型使用的是特征為tfidf的lsi模型， 參數(shù)：num_topics=3, 判斷是否相似閥值為0.45,即大于0.45為true相似 ）

同模型同參數(shù)下，jieba分詞結(jié)果

jieba分詞未出現(xiàn)在詞向量的約500多，有些詞出現(xiàn)了好幾次，而hanlp分詞只有60幾個(gè)未出現(xiàn)，且多數(shù)為名詞，只出現(xiàn)過(guò)一次。

4,分析

在樣本中，所有樣本分詞結(jié)果jieba比hanlp要多分出100個(gè)詞左右。所以推測(cè)因hanlp分詞細(xì)粒度大，分出詞少，導(dǎo)致較少的共現(xiàn)詞出現(xiàn)（也可能是hanlp分詞精度更高，分出很多虛詞被停止詞表過(guò)濾造成），也就是說(shuō)，lsi+tfidf模型對(duì)詞細(xì)粒度大、分詞少的分詞器不友好，所以最后hanlp出錯(cuò)率更大。

jieba與hanlp都是很不錯(cuò)的分詞器，結(jié)巴使用更方便。hanlp準(zhǔn)確度要高一些（感覺(jué)），而且與文中提到的詞向量相匹配。

（我免貴姓AI，jieba：我免/貴姓/AI，hanlp：我/免/貴姓/AI，實(shí)際：我/免貴/姓AI）

參考資料：

自然語(yǔ)言處理 中文分詞 詞性標(biāo)注 命名實(shí)體識(shí)別 依存句法分析 關(guān)鍵詞提取 新詞發(fā)現(xiàn) 短語(yǔ)提取 自動(dòng)摘要 文本分類 拼音簡(jiǎn)繁

文章來(lái)源于gladosAI的博客