如何使用英特爾?oneAPI工具實(shí)現(xiàn)PyTorch 優(yōu)化，直播火熱報(bào)名中>>>>>>

Prose 是一款用于Go 語(yǔ)言的文本處理庫(kù)（主要是英文），支持 okenization（分詞）、part-of-speech tagging（詞性標(biāo)注）、named-entity extraction（命名實(shí)體提?。┑?。?

安裝

$?go?get?github.com/jdkato/prose/...

使用

• Tokenizing

• Tagging

• Transforming

• Summarizing

• Chunking

• License

Tokenizing

單詞、句子和 regexp tokenizer 可用。 每個(gè)分詞器實(shí)現(xiàn)相同的接口，這樣可以輕松地在庫(kù)的其他部分中自定義詞語(yǔ)切分。

package?main

import?(
????"fmt"

????"github.com/jdkato/prose/tokenize"
)

func?main()?{
????text?:=?"They'll?save?and?invest?more."
????tokenizer?:=?tokenize.NewTreebankWordTokenizer()
????for?_,?word?:=?range?tokenizer.Tokenize(text)?{
????????//?[They?'ll?save?and?invest?more?.]
????????fmt.Println(word)
????}
}