|
jcseg是使用Java開發(fā)的一個(gè)開源中文分詞器，使用流行的mmseg算法實(shí)現(xiàn)，并且提供了最高版本的lucene-4.3.6和最高版本solr-4.3.6的分詞接口． 1。目前最高版本：jcseg 1.8.9。 2。mmseg四種過濾算法，分詞準(zhǔn)確率達(dá)到了98.4%，請(qǐng)參考本算法的原作：http://technology./mmseg/。 3。支持自定義詞庫。在lexicon文件夾下，可以隨便添加/刪除/更改詞庫和詞庫內(nèi)容，并且對(duì)詞庫進(jìn)行了分類。如何給jcseg添加詞庫/新詞，jcseg詞庫類別說明 4。自動(dòng)同義詞追加/同義詞匹配 + 自動(dòng)分詞拼音追加．詞庫整合了《現(xiàn)代漢語詞典》和cc-cedict辭典中的詞條，并且依據(jù)cc-cedict詞典為詞條標(biāo)上了拼音，依據(jù)《中華同義詞詞典》為詞條標(biāo)上了同義詞(尚未完成)。更改jcseg.properties配置文檔可以在分詞的時(shí)候加入拼音和同義詞到分詞結(jié)果中。(1.7.0版后)，jcseg新版詞庫 5。中文數(shù)字和中文分?jǐn)?shù)識(shí)別，例如："一百五十個(gè)人都來了，四十分之一的人。"中的"一百五十"和"四十分之一"。并且jcseg會(huì)自動(dòng)將其轉(zhuǎn)換為阿拉伯?dāng)?shù)字加入到分詞結(jié)果中。如：150， 1/40。(1.7.0版后)。 6。支持中英/英中混合詞的識(shí)別。例如：B超, x射線, 卡拉ok, 漂亮mm。 7。更好的英文支持，字母和標(biāo)點(diǎn)組合詞（例如C++, c#）的識(shí)別，電子郵件，網(wǎng)址，小數(shù)，分?jǐn)?shù)，百分?jǐn)?shù)。(這個(gè)對(duì)購物網(wǎng)站來說很重要, 1.7.0版后)。 8。支持阿拉伯/中文數(shù)字基本單字單位的識(shí)別，例如2012年，五折，并且jcseg會(huì)將其轉(zhuǎn)換為“5折”加入分詞結(jié)果中。 9。智能圓角半角，大小寫轉(zhuǎn)換。 10。特殊字母識(shí)別：例如：Ⅰ，Ⅱ 11。特殊數(shù)字識(shí)別：例如：①，⑩ 12。配對(duì)標(biāo)點(diǎn)內(nèi)容提取：例如：最好的Java書《java編程思想》，‘暢想杯黑客技術(shù)大賽’，被《,‘,“,『標(biāo)點(diǎn)標(biāo)記的內(nèi)容。(1.6.8版開始支持)。 13。智能中文人名識(shí)別。中文人名識(shí)別正確率達(dá)94%以上。（可以維護(hù)lex-lname.lex，lex-dname-1.lex，lex-dname-2.lex來提高準(zhǔn)確率）。 14。自動(dòng)中英文停止詞過濾功能（需要在jcseg.properties中開啟該選項(xiàng)，lex-stopwords.lex為停止詞詞庫）。 15。詞庫更新自動(dòng)加載功能, 開啟一個(gè)守護(hù)線程隨時(shí)檢測(cè)詞庫的更新并且加載. 16。自動(dòng)詞性標(biāo)注功能. jcseg佩帶了一個(gè)jcseg.properties文件，只要有使用文本編輯器你就可以自主的編輯里面的選項(xiàng)，配置適合不同場(chǎng)合的分詞應(yīng)用。例如：最大匹配詞數(shù)，是否開啟中文人名識(shí)別，是否記載詞條拼音，是否載入詞條同義詞等等。 如何配置jcseg
測(cè)試環(huán)境：2.8GHZ/2G/Ubuntu Simple 模式： 1366058字/秒 3774.5KB/秒 Complex 模式： 479338字/秒 1324.4KB/秒 |
|
|
