在上一篇文章中，我們學(xué)習(xí)了機(jī)器學(xué)習(xí) (ML) 的核心正態(tài)分布屬性。在這里，我們將運(yùn)用我們的知識(shí)來(lái)操縱正態(tài)分布來(lái)解決棘手的貝葉斯推理。我們將用貝葉斯線性回歸和高斯過(guò)程來(lái)證明它。我們還將通過(guò)一些證明來(lái)應(yīng)用我們所學(xué)的知識(shí)。但是我們假設(shè)您已經(jīng)閱讀了上一篇文章，如果您還沒(méi)有閱讀，請(qǐng)閱讀。

貝葉斯線性回歸

貝葉斯線性回歸利用了正態(tài)分布運(yùn)算的“便利性”，解析地解決了回歸問(wèn)題。

對(duì)于樣本大小為n且每個(gè)數(shù)據(jù)點(diǎn)具有m個(gè)特征的數(shù)據(jù)集，貝葉斯線性回歸定義為

并且先驗(yàn)參數(shù)θ和誤差ε都被假設(shè) 為正態(tài)分布。

后部

在處理正態(tài)分布時(shí)，如果結(jié)果是概率分布，我們可以專(zhuān)注于合并這些正態(tài)分布而忽略任何縮放因子。我們可以專(zhuān)注于尋找得到的正態(tài)分布的參數(shù)。這里，后驗(yàn)等于

即后驗(yàn)是

后驗(yàn)預(yù)測(cè)分布

為了計(jì)算貝葉斯推理中的后驗(yàn)預(yù)測(cè)分布，我們將后驗(yàn)整合到模型的所有可能值θ上。

這種整合通常是棘手的。在貝葉斯線性回歸中，似然是高斯函數(shù)的形式。

因此，我們可以利用正態(tài)分布特性更容易地計(jì)算后驗(yàn)預(yù)測(cè)分布?；叵胍幌拢惾~斯回歸模型定義為

并且正態(tài)分布的線性變換規(guī)則是。

讓我們將A替換為x*并將x替換為θ，我們得到

應(yīng)用求和規(guī)則來(lái)解釋貝葉斯回歸方程中的 ε

后驗(yàn)預(yù)測(cè)分布變?yōu)?/span>

把所有東西放在一起，后驗(yàn)預(yù)測(cè)分布是

此分布的平均值是給定x * 的y * 的點(diǎn)估計(jì)。

接下來(lái)，我們將討論探索數(shù)據(jù)點(diǎn)與正態(tài)分布之間關(guān)系的高斯過(guò)程。

高斯過(guò)程 (GP)

讓我們快速了解一下 GP 可以做什么。高斯過(guò)程 (GP) 的分布是函數(shù)上的分布。這是什么意思？給定訓(xùn)練數(shù)據(jù)集D = {( x ?, y ?), ( x ?, y ?), ( x ?, y ?), ( x ?, y ?)}，下面的函數(shù)f完全適合D。

但是貝葉斯永遠(yuǎn)不會(huì)安定于點(diǎn)估計(jì)！事實(shí)上，有無(wú)數(shù)的函數(shù)可以精確地?cái)M合這些數(shù)據(jù)點(diǎn)。但是某些功能比其他功能更有可能。例如，下面的函數(shù)f 2似乎比其他函數(shù)更有可能，因?yàn)樗鼮檫m應(yīng)數(shù)據(jù)所做的曲線變化較少。對(duì)于常客，他們將使用最似然估計(jì) (MLE) 為我們提供最終回歸模型。但是對(duì)于貝葉斯主義者，他們模擬了所有的可能性。為了演示，我們可以從 GP 中反復(fù)采樣，繪制出貝葉斯預(yù)測(cè)的函數(shù)。

GP是一個(gè)生成模型。它生成適合的函數(shù)（樣本）

• 觀察結(jié)果，以及
• 我們對(duì)數(shù)據(jù)如何相關(guān)以及它們的期望值（平均值）是多少的信念。

在 GP 回歸中，它預(yù)測(cè)給定x * 的y *的正態(tài)分布，即f ( x* ) 的概率密度函數(shù)。

懶惰的會(huì)計(jì)師

讓我們快速瀏覽一個(gè)插圖。在每個(gè)季度的開(kāi)始，會(huì)計(jì)師向 CEO 報(bào)告應(yīng)收賬款 (AR) 和應(yīng)付賬款 (AP) 之間的余額（余額 = AR 減去 AP）。在任何時(shí)間點(diǎn)，AR 都可能高于 AP，反之亦然。不幸的是，這家公司只能實(shí)現(xiàn)收支平衡，即平均而言，余額為零。

會(huì)計(jì)師退休了，一個(gè)聰明但懶惰的會(huì)計(jì)師保羅被聘用了。他沒(méi)有做他的工作，而是在下面創(chuàng)建了一個(gè)多元正態(tài)分布，并自動(dòng)生成接下來(lái) 20 個(gè)月的余額。

這種分布很有意義，因?yàn)轭A(yù)期值為 0。這是一個(gè)帶有未來(lái) 20 個(gè)月余額的單個(gè)樣本的圖。

協(xié)方差矩陣 Σ 控制數(shù)據(jù)點(diǎn)的相關(guān)性。當(dāng)數(shù)據(jù)點(diǎn)i與數(shù)據(jù)點(diǎn)j不相關(guān)時(shí)， Σ?? 等于 0 。如果它大于零，它們就是。Paul 選擇的 Σ 是數(shù)據(jù)點(diǎn)之間距離的指數(shù)函數(shù)。因此，相鄰月份之間的余額是相似的。s是復(fù)制天平范圍的比例因子。l是一個(gè)可調(diào)的超參數(shù)（又名內(nèi)核寬度）。較大的l，數(shù)據(jù)點(diǎn)會(huì)影響更遠(yuǎn)的鄰居。從另一個(gè)角度來(lái)看，每個(gè)數(shù)據(jù)點(diǎn)都會(huì)受到更多鄰居的影響。因此，相應(yīng)的曲線會(huì)更平滑。

資源

該方案非常成功，以至于 Paul 創(chuàng)建了一個(gè)新模型，并在接下來(lái)的 20 個(gè)月中每天對(duì)一個(gè)數(shù)據(jù)點(diǎn)進(jìn)行采樣。

The plotted graph is smooth and just looks like a function. So he calls his system a sampler of functions. Every sample is a sample of the function f.

The CFO is impressed with the plot and asks him to redo the monthly balance for the last financial year. He cannot reuse the last function sampler anymore. It will not match the previous quarterly reports.

As discussed before, if we know a multivariate normal distribution, we can re-establish the probability distribution of the missing data given the observed one.

As in this example, the probability distribution for x? given x?=2 is

Paul realizes that too. If he knows f (the last 4 quarter balances), he can recreate the distribution of f* for the last 12 months. The first four entries in his new model are the reported balances at months 1, 4, 7, and 10 (every financial quarter). The next 12 entries (f*) represent the new curve for the last financial year.

The diagram below plots one of the functions sampled.

The original prior defines the mean and the covariance of the functions. It is our prior belief on the expectation value for f and how data are correlated. Given the observations (the four balances), the posterior enforces the constraints that any sampled functions must cross the path at the red dots below.

但有時(shí)，CEO 只對(duì)幾個(gè)數(shù)據(jù)點(diǎn)感興趣，例如第 60 天和第 280 天的余額。這可以通過(guò)以下新的多元正態(tài)分布來(lái)建模。它對(duì)預(yù)測(cè)特定輸入的輸出的函數(shù)f * 進(jìn)行采樣。例如，f* 的一個(gè)可能樣本是[ f* 1(125) = -0.2, f* 1(300) = 1.1])。

還有一個(gè)重要的觀察。隨著我們進(jìn)一步遠(yuǎn)離紅點(diǎn)，f的方差增加。預(yù)測(cè)將有更廣泛的猜測(cè)和更低的確定性。簡(jiǎn)而言之，隨著我們遠(yuǎn)離已知數(shù)據(jù)點(diǎn)，預(yù)測(cè)的不確定性會(huì)增加。

全科醫(yī)生定義

高斯過(guò)程是函數(shù)的正態(tài)分布。每個(gè) GP 由平均函數(shù)m (x) 和協(xié)方差函數(shù)κ (x, x') 定義。κ模擬f (x) 和f (x')之間的協(xié)方差（相關(guān)性）。

Paul將m (x) 設(shè)計(jì)為 0 以反映預(yù)期的平衡。如果我們繼續(xù)采樣函數(shù)，f 1(x), f 2(x), f 3(x), ... 的平均值接近m (x)。

Paul 使用高斯核對(duì)協(xié)方差函數(shù)進(jìn)行建模。

For any pair of x and x’, the sampled data points f(x) and f(x’) form a bivariate normal distribution. As a simple demonstration, let’s have x’ equals x. As shown below, κ(x, x), the red curve, is normally distributed.

How do we sample data from a GP? In particular, A function can be viewed as a collection of random variables f(x?), f(x?), f(x?), … For continuous functions, the number of random variables is unlimited. Therefore, it has infinite random variables and GP has an infinite dimension. In practice, we can focus on the k variables in interest, even k can be very large.

Definition: A GP is a collection of random variables in which the joint distribution of every finite subset of random variables is multivariate normally distributed.

By taking advantage of this definition, we model a k-variate normal distribution from the joint distribution. For example, Paul creates the finite subset X = {x?, x?, x?, x?, …, x??} for the coming year report. It contains 12 random variables holding a balance for each month. Once the 12-variate normal distribution is defined, we sample values from this multivariate normal distribution to create sample functions.

It starts with a prior belief from the designer on how data are related.

Or in Paul’s mind, this is

where

Here are the two possible sample functions returned.

Kernel function

協(xié)方差函數(shù)建模中流行的核函數(shù)之一是平方指數(shù)核

其中s是比例因子。當(dāng)x ? 和x ? 相距較遠(yuǎn)時(shí)，k等于 0。如果它們相同，則等于 1。但是核函數(shù)有很多選擇。通過(guò)實(shí)驗(yàn)，設(shè)計(jì)人員可以選擇一個(gè)對(duì)數(shù)據(jù)進(jìn)行最佳建模的模型。

在矩陣代數(shù)中，矩陣K是 半正定的，如果

協(xié)方差矩陣是半正定的。

因此，核函數(shù)必須是半正定的。它也是對(duì)稱(chēng)的 Cov( x , x ') = Cov( x ', x)。

后驗(yàn)預(yù)測(cè)分布

后驗(yàn)預(yù)測(cè)分布是關(guān)于在給定x * 和D的情況下找到f * 。

后驗(yàn)預(yù)測(cè)分布通常寫(xiě)成

和

通過(guò)對(duì)多元正態(tài)分布應(yīng)用條件規(guī)則，均值向量和協(xié)方差矩陣為

這就是無(wú)噪聲高斯過(guò)程回歸。

為了考慮信息中的噪聲，我們將預(yù)測(cè)公式化為

使用正態(tài)分布的求和規(guī)則，噪聲將被添加到協(xié)方差矩陣中，如下所示

正態(tài)分布的后驗(yàn)預(yù)測(cè)分布為

下一個(gè)

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中的概率分布

在貝葉斯影響中，概率分布被大量用于解決棘手的問(wèn)題。