自然語言處理知識(shí)太龐大了，網(wǎng)上也都是一些零零散散的知識(shí)，比如單獨(dú)講某些模型，也沒有來龍去脈，學(xué)習(xí)起來較為困難，于是我自己總結(jié)了一份知識(shí)體系結(jié)構(gòu)，不足之處，歡迎指正。內(nèi)容來源主要參考黃志洪老師的自然語言處理課程。主要參考書為宗成慶老師的《統(tǒng)計(jì)自然語言處理》，雖然很多內(nèi)容寫的不清楚，但好像中文NLP書籍就這一本全一些，如果想看好的英文資料，可以到我的GitHub上下載： http://github.com/lovesoft5/ml
下面直接開始正文： 一、自然語言處理概述 1）自然語言處理：利用計(jì)算機(jī)為工具，對(duì)書面實(shí)行或者口頭形式進(jìn)行各種各樣的處理和加工的技術(shù)，是研究人與人交際中以及人與計(jì)算機(jī)交際中的演員問題的一門學(xué)科，是人工智能的主要內(nèi)容。 2）自然語言處理是研究語言能力和語言應(yīng)用的模型，建立計(jì)算機(jī)（算法）框架來實(shí)現(xiàn)這樣的語言模型，并完善、評(píng)測、最終用于設(shè)計(jì)各種實(shí)用系統(tǒng)。 3）研究問題（主要）： 信息檢索
機(jī)器翻譯
文檔分類
問答系統(tǒng)
信息過濾
自動(dòng)文摘
信息抽取
文本挖掘
輿情分析
機(jī)器寫作
語音識(shí)別 研究模式：自然語言場景問題，數(shù)學(xué)算法，算法如何應(yīng)用到解決這些問題，預(yù)料訓(xùn)練，相關(guān)實(shí)際應(yīng)用 自然語言的困難：
場景的困難：語言的多樣性、多變性、歧義性
學(xué)習(xí)的困難：艱難的數(shù)學(xué)模型（hmm,crf,EM,深度學(xué)習(xí)等）
語料的困難：什么的語料？語料的作用？如何獲取語料？ 二、形式語言與自動(dòng)機(jī) 語言：按照一定規(guī)律構(gòu)成的句子或者字符串的有限或者無限的集合。 描述語言的三種途徑： 窮舉法
文法（產(chǎn)生式系統(tǒng)）描述
自動(dòng)機(jī) 自然語言不是人為設(shè)計(jì)而是自然進(jìn)化的，形式語言比如：運(yùn)算符號(hào)、化學(xué)分子式、編程語言 形式語言理論朱啊喲研究的是內(nèi)部結(jié)構(gòu)模式這類語言的純粹的語法領(lǐng)域，從語言學(xué)而來，作為一種理解自然語言的句法規(guī)律，在計(jì)算機(jī)科學(xué)中，形式語言通常作為定義編程和語法結(jié)構(gòu)的基礎(chǔ) 形式語言與自動(dòng)機(jī)基礎(chǔ)知識(shí)： 集合論
圖論 自動(dòng)機(jī)的應(yīng)用： 1，單詞自動(dòng)查錯(cuò)糾正 2，詞性消歧（什么是詞性？什么的詞性標(biāo)注？為什么需要標(biāo)注？如何標(biāo)注？） 形式語言的缺陷： 1、對(duì)于像漢語，英語這樣的大型自然語言系統(tǒng)，難以構(gòu)造精確的文法 2、不符合人類學(xué)習(xí)語言的習(xí)慣 3、有些句子語法正確，但在語義上卻不可能，形式語言無法排出這些句子 4、解決方向：基于大量語料，采用統(tǒng)計(jì)學(xué)手段建立模型 三、語言模型 1）語言模型（重要）：通過語料計(jì)算某個(gè)句子出現(xiàn)的概率（概率表示），常用的有2-元模型，3-元模型 2）語言模型應(yīng)用： 語音識(shí)別歧義消除例如，給定拼音串：ta shi yan yan jiu saun fa de 可能的漢字串：踏實(shí)煙酒算法的 他是研究酸法的 他是研究算法的，顯然，最后一句才符合。 3）語言模型的啟示： 1、開啟自然語言處理的統(tǒng)計(jì)方法 2、統(tǒng)計(jì)方法的一般步驟： 收集大量語料
對(duì)語料進(jìn)行統(tǒng)計(jì)分析，得出知識(shí)
針對(duì)場景建立算法模型
解釋和應(yīng)用結(jié)果 4） 語言模型性能評(píng)價(jià)，包括評(píng)價(jià)目標(biāo)，評(píng)價(jià)的難點(diǎn)，常用指標(biāo)（交叉熵，困惑度） 5）數(shù)據(jù)平滑： 數(shù)據(jù)平滑的概念，為什么需要平滑 平滑的方法，加一法，加法平滑法，古德-圖靈法，J-M法，Katz平滑法等 6）語言模型的缺陷： 語料來自不同的領(lǐng)域，而語言模型對(duì)文本類型、主題等十分敏感 n與相鄰的n-1個(gè)詞相關(guān)，假設(shè)不是很成立。
四、概率圖模型，生成模型與判別模型，貝葉斯網(wǎng)絡(luò)，馬爾科夫鏈與隱馬爾科夫模型（HMM）
1）概率圖模型概述（什么的概率圖模型，參考清華大學(xué)教材《概率圖模型》） 2）馬爾科夫過程（定義，理解） 3）隱馬爾科夫過程（定義，理解） HMM的三個(gè)基本問題（定義，解法，應(yīng)用） 注：第一個(gè)問題，涉及最大似然估計(jì)法，第二個(gè)問題涉及EM算法，第三個(gè)問題涉及維特比算法，內(nèi)容很多，要重點(diǎn)理解，（參考書李航《統(tǒng)計(jì)學(xué)習(xí)方法》，網(wǎng)上博客，筆者github） 五、馬爾科夫網(wǎng)，最大熵模型，條件隨機(jī)場（CRF） 1)HMM的三個(gè)基本問題的參數(shù)估計(jì)與計(jì)算 2）什么是熵
3）EM算法（應(yīng)用十分廣泛，好好理解）
4）HMM的應(yīng)用
5）層次化馬爾科夫模型與馬爾科夫網(wǎng)絡(luò) 提出原因，HMM存在兩個(gè)問題 6）最大熵馬爾科夫模型
優(yōu)點(diǎn)：與HMM相比，允許使用特征刻畫觀察序列，訓(xùn)練高效
缺點(diǎn)： 存在標(biāo)記偏置問題 7）條件隨機(jī)場及其應(yīng)用(概念，模型過程，與HMM關(guān)系)
參數(shù)估計(jì)方法（GIS算法，改進(jìn)IIS算法） CRF基本問題：特征選取（特征模板）、概率計(jì)算、參數(shù)訓(xùn)練、解碼（維特比） 應(yīng)用場景： 詞性標(biāo)注類問題（現(xiàn)在一般用RNN+CRF）
中文分詞（發(fā)展過程，經(jīng)典算法，了解開源工具jieba分詞）
中文人名，地名識(shí)別 8） CRF++ 六、命名實(shí)體 識(shí)別，詞性標(biāo)注，內(nèi)容挖掘、語義分析與篇章分析（大量用到前面的算法） 1）命名實(shí)體識(shí)別問題 相關(guān)概率，定義 相關(guān)任務(wù)類型 方法（基于規(guī)程->基于大規(guī)模語料庫） 2）未登錄詞的解決方法(搜索引擎，基于語料) 3）CRF解決命名實(shí)體識(shí)別（NER）流程總結(jié)： 訓(xùn)練階段：確定特征模板，不同場景（人名，地名等）所使用的特征模板不同，對(duì)現(xiàn)有語料進(jìn)行分詞，在分詞結(jié) 果基礎(chǔ)上進(jìn)行詞性標(biāo)注（可能手工），NER對(duì)應(yīng)的標(biāo)注問題是基于詞的，然后訓(xùn)練CRF模型，得到對(duì)應(yīng)權(quán)值參數(shù)值 識(shí)別過程：將待識(shí)別文檔分詞，然后送入CRF模型進(jìn)行識(shí)別計(jì)算（維特比算法），得到標(biāo)注序列，然后根據(jù)標(biāo) 注劃分出命名實(shí)體 4）詞性標(biāo)注（理解含義，意義）及其一致性檢查方法（位置屬性向量，詞性標(biāo)注序列向量，聚類或者分類算法）
七、句法分析 1）句法分析理解以及意義 1、句法結(jié)構(gòu)分析
完全句法分析
淺層分析（這里有很多方法。。。）
2、 依存關(guān)系分析 2）句法分析方法 1、基于規(guī)則的句法結(jié)構(gòu)分析
2、基于統(tǒng)計(jì)的語法結(jié)構(gòu)分析 八、文本分類，情感分析 1）文本分類，文本排重 文本分類：在預(yù)定義的分類體系下，根據(jù)文本的特征，將給定的文本與一個(gè)或者多個(gè)類別相關(guān)聯(lián) 典型應(yīng)用：垃圾郵件判定，網(wǎng)頁自動(dòng)分類 2）文本表示，特征選取與權(quán)重計(jì)算，詞向量 文本特征選擇常用方法： 1、基于本文頻率的特征提取法
2、信息增量法
3、X2（卡方）統(tǒng)計(jì)量
4、互信息法 3）分類器設(shè)計(jì) SVM，貝葉斯，決策樹等
4）分類器性能評(píng)測 1、召回率
2、正確率
3、F1值 5）主題模型（LDA）與PLSA LDA模型十分強(qiáng)大，基于貝葉斯改進(jìn)了PLSA，可以提取出本章的主題詞和關(guān)鍵詞，建模過程復(fù)雜，難以理解。 6）情感分析 借助計(jì)算機(jī)幫助用戶快速獲取，整理和分析相關(guān)評(píng)論信息，對(duì)帶有感情色彩的主觀文本進(jìn)行分析，處理和歸納例如，評(píng)論自動(dòng)分析，水軍識(shí)別。 某種意義上看，情感分析也是一種特殊的分類問題
7）應(yīng)用案例
九、信息檢索，搜索引擎及其原理
1）信息檢索起源于圖書館資料查詢檢索，引入計(jì)算機(jī)技術(shù)后，從單純的文本查詢擴(kuò)展到包含圖片，音視頻等多媒體信息檢索，檢索對(duì)象由數(shù)據(jù)庫擴(kuò)展到互聯(lián)網(wǎng)。 1、點(diǎn)對(duì)點(diǎn)檢索 2、精確匹配模型與相關(guān)匹配模型 3、檢索系統(tǒng)關(guān)鍵技術(shù)：標(biāo)引，相關(guān)度計(jì)算 2）常見模型：布爾模型，向量空間模型，概率模型 3）常用技術(shù)：倒排索引，隱語義分析（LDA等） 4）評(píng)測指標(biāo) 十、自動(dòng)文摘與信息抽取，機(jī)器翻譯，問答系統(tǒng) 1）統(tǒng)計(jì)機(jī)器翻譯的的思路，過程，難點(diǎn)，以及解決 2）問答系統(tǒng) 基本組成：問題分析，信息檢索，答案抽取 類型：基于問題-答案， 基于自由文本 典型的解決思路 3）自動(dòng)文摘的意義，常用方法 4）信息抽取模型（LDA等）
十一、深度學(xué)習(xí)在自然語言中的應(yīng)用 1）單詞表示，比如詞向量的訓(xùn)練（wordvoc）
2）自動(dòng)寫文本
寫新聞等
3）機(jī)器翻譯
4）基于CNN、RNN的文本分類 5）深度學(xué)習(xí)與CRF結(jié)合用于詞性標(biāo)注 ............... 更多深度學(xué)習(xí)內(nèi)容，可參考我之前的文章。
|
