作者：Ravish Chawla
編譯：ronghuaiyang

導(dǎo)讀

一個(gè)簡(jiǎn)單明了的對(duì)條件隨機(jī)場(chǎng)的說(shuō)明，給大家一個(gè)非常直觀的印象，CRF到底是個(gè)什么東西，能干什么用。

條件隨機(jī)場(chǎng)是一種用于序列預(yù)測(cè)的判別模型。它們使用來(lái)自以前標(biāo)簽的上下文信息，從而增加了模型做出良好預(yù)測(cè)的信息量。在這篇文章中，我將討論一些介紹CRFs的主題。先給大家過(guò)一遍：

1. 什么是判別分類(lèi)器(以及它們與生成分類(lèi)器的比較)
2. 條件隨機(jī)場(chǎng)的數(shù)學(xué)概述
3. 條件隨機(jī)場(chǎng)與隱馬爾可夫模型有何不同
4. 條件隨機(jī)場(chǎng)的應(yīng)用

什么是判別分類(lèi)器

機(jī)器學(xué)習(xí)模型有兩種常見(jiàn)的類(lèi)別：生成模型和判別模型。條件隨機(jī)場(chǎng)是一種判別分類(lèi)器，它對(duì)不同類(lèi)別之間的決策邊界進(jìn)行建模。另一方面，生成模型是對(duì)數(shù)據(jù)如何生成進(jìn)行建模，這些模型在學(xué)習(xí)之后可以用來(lái)進(jìn)行分類(lèi)。舉個(gè)簡(jiǎn)單的例子，樸素貝葉斯是一種非常簡(jiǎn)單和流行的概率分類(lèi)器，是一種生成模型，而邏輯回歸是一種基于最大似然估計(jì)的分類(lèi)器，是一種判別模型。讓我們看看這些模型如何用來(lái)計(jì)算標(biāo)簽預(yù)測(cè)：

樸素貝葉斯分類(lèi)器是基于樸素貝葉斯算法的分類(lèi)器，它的描述如下：

我們可以把分類(lèi)器做出的預(yù)測(cè)表示為一個(gè)條件概率，我們使用樸素貝葉斯算法進(jìn)行分解：

Logistic回歸分類(lèi)器是基于Logistic函數(shù)，即：

為了在Logistic回歸中學(xué)習(xí)兩個(gè)類(lèi)之間的決策邊界，分類(lèi)器學(xué)習(xí)與每個(gè)數(shù)據(jù)點(diǎn)相關(guān)的權(quán)值(Theta值)，表示為：

利用Logistic回歸分類(lèi)器，我們可以看到我們?cè)谧畲蠡瘲l件概率，利用貝葉斯規(guī)則，我們可以得到樸素貝葉斯分類(lèi)器所使用的生成分類(lèi)器。

將P(y | x)代入貝葉斯方程：

把它等價(jià)于先驗(yàn)和似然性的乘積，因?yàn)樵赼rgmax中，分母P(x)不提供任何信息。

該結(jié)果是較早得到的樸素貝葉斯算法生成分類(lèi)器。

我們進(jìn)一步可以看到P(x | y) * P(y)等于P(x, y)，這是x和y的聯(lián)合分布，這一觀察結(jié)果支持了生成模型的早期定義。通過(guò)對(duì)類(lèi)與類(lèi)之間的聯(lián)合概率分布建模，生成模型可以得到給定標(biāo)簽Y和聯(lián)合概率分布并“生成”輸入點(diǎn)X。同樣，判別模型通過(guò)學(xué)習(xí)條件概率分布，學(xué)習(xí)了數(shù)據(jù)點(diǎn)之間的決策邊界。所以，給定一個(gè)輸入點(diǎn)，它可以使用條件概率分布來(lái)計(jì)算它的類(lèi)。

這些定義如何應(yīng)用于條件隨機(jī)場(chǎng)？條件隨機(jī)場(chǎng)是一種判別模型，其基本原理是對(duì)序列輸入應(yīng)用邏輯回歸。如果你熟悉隱馬爾可夫模型，你會(huì)發(fā)現(xiàn)它們與CRFs有一些相似之處，其中之一是它們也用于序列輸入。HMMs利用過(guò)渡矩陣和輸入向量來(lái)學(xué)習(xí)發(fā)射矩陣，在概念上與樸素貝葉斯相似。HMMs是一個(gè)生成模型。

條件隨機(jī)場(chǎng)的數(shù)學(xué)介紹

在討論了上述定義之后，我們現(xiàn)在將討論條件隨機(jī)場(chǎng)，以及如何使用它們來(lái)學(xué)習(xí)序列數(shù)據(jù)。

如前一節(jié)所示，我們對(duì)條件分布建模如下:

在CRFs中，我們的輸入數(shù)據(jù)是順序的，在對(duì)數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測(cè)時(shí)，必須考慮前面的上下文。為了對(duì)這種行為進(jìn)行建模，我們將使用特征函數(shù)，它將有多個(gè)輸入值，為：

1. 輸入向量集合X
2. 我們預(yù)測(cè)的數(shù)據(jù)點(diǎn)的位置i
3. X中數(shù)據(jù)點(diǎn)i-1的標(biāo)簽
4. X中數(shù)據(jù)點(diǎn)i的標(biāo)簽

我們將特征函數(shù)定義為:

特征函數(shù)的目的是表示數(shù)據(jù)點(diǎn)所表示的序列的某種特征。例如，如果我們將CRFs用于詞性標(biāo)注，則：

f (X, i, L{i - 1}, L{i} ) = 1 如果 L{i - 1}是名詞并且 L{i} 是動(dòng)詞. 0 其他。

同樣, f (X, i, L{i - 1}, L{i} ) = 1 如果 L{i - 1} 是動(dòng)詞并且 L{i} 是副詞. 0 其他。

每個(gè)特征函數(shù)都基于前一個(gè)單詞和當(dāng)前單詞的標(biāo)簽，并且要么是0，要么是1。為了構(gòu)建條件場(chǎng)，我們接下來(lái)為每個(gè)特征函數(shù)分配一組權(quán)重(lambda值)，算法將學(xué)習(xí)這些權(quán)重：

為了估計(jì)參數(shù)(lambda)，我們使用最大似然估計(jì)。為了應(yīng)用該技術(shù)，我們首先對(duì)分布取負(fù)對(duì)數(shù)，使偏導(dǎo)數(shù)更容易計(jì)算:

要對(duì)負(fù)對(duì)數(shù)函數(shù)應(yīng)用最大似然，我們將使用argmin(因?yàn)樽钚』?fù)函數(shù)將產(chǎn)生最大似然性)。為了求最小值，我們可以求導(dǎo)，得到:

我們把求偏導(dǎo)數(shù)作為梯度下降的一個(gè)步驟。梯度下降迭代更新參數(shù)值，每次一小步，直到值收斂。CRF的最終梯度下降更新方程為:

總結(jié)一下，我們使用條件隨機(jī)場(chǎng)，首先定義所需的特征函數(shù)，初始化隨機(jī)值的權(quán)重，然后迭代地應(yīng)用梯度下降，直到參數(shù)值(在本例中是lambda)收斂。我們可以看到CRFs類(lèi)似于Logistic回歸，因?yàn)樗鼈兪褂脳l件概率分布，但是我們通過(guò)將特征函數(shù)作為序列輸入來(lái)擴(kuò)展算法。

CRFs和HMM有什么不同？

從前面幾節(jié)中，條件隨機(jī)場(chǎng)與隱馬爾可夫模型的區(qū)別是顯而易見(jiàn)的。雖然這兩種方法都用于對(duì)順序數(shù)據(jù)建模，但它們是不同的算法。

隱馬爾可夫模型具有生成性，通過(guò)對(duì)聯(lián)合概率分布建模給出了輸出。另一方面，條件隨機(jī)場(chǎng)具有判別性，并對(duì)條件概率分布進(jìn)行了建模。CRFs不依賴(lài)于獨(dú)立假設(shè)(即標(biāo)簽彼此獨(dú)立)，并且避免了標(biāo)簽偏差。一種理解它的方法是隱馬爾可夫模型是條件隨機(jī)場(chǎng)的一個(gè)非常特殊的例子，轉(zhuǎn)移概率使用了常數(shù)。HMMs基于樸素貝葉斯，我們說(shuō)它可以從邏輯回歸得到，CRFs就是從邏輯回歸得到的。

條件隨機(jī)場(chǎng)的應(yīng)用

由于CRFs具有對(duì)順序數(shù)據(jù)建模的能力，因此通常會(huì)在自然語(yǔ)言處理中使用CRFs，并且在該領(lǐng)域有許多應(yīng)用。我們討論的其中一個(gè)應(yīng)用是詞性標(biāo)記。句子的詞性依靠以前的單詞，并利用特征函數(shù)，利用這一點(diǎn)，我們可以學(xué)習(xí)如何區(qū)分句子中的哪個(gè)單詞對(duì)應(yīng)哪個(gè)POS。另一個(gè)類(lèi)似的應(yīng)用是命名實(shí)體識(shí)別，或從句子中提取專(zhuān)有名詞。條件隨機(jī)場(chǎng)可以用來(lái)預(yù)測(cè)任意序列中多個(gè)變量相互依賴(lài)的情況。其他應(yīng)用包括圖像中的局部區(qū)域識(shí)別和基因預(yù)測(cè)。

英文原文：https:///ml2vec/overview-of-conditional-random-fields-68a2a20fa541