統(tǒng)計強調(diào)推理，而機器學(xué)習(xí)則強調(diào)預(yù)測。執(zhí)行統(tǒng)計信息時，需要推斷生成數(shù)據(jù)的過程。 當(dāng)你進行機器學(xué)習(xí)時，你想知道用什么樣的變量，以及預(yù)測未來會是什么樣子。 以統(tǒng)計思想的視角，了解數(shù)據(jù)分布、評估各種結(jié)果的概率、理解數(shù)據(jù)生成過程、模型解釋性是關(guān)注的重點，而機器學(xué)習(xí)更多的關(guān)注的是預(yù)測的準(zhǔn)確性，我們知道，模型的實際應(yīng)用光有準(zhǔn)確性是不夠的，人類到現(xiàn)在還沒有一個非常成功的機器（系統(tǒng)），工作的好卻不能解釋。所以機器學(xué)習(xí)中，統(tǒng)計思想的應(yīng)用是非常重要的。 統(tǒng)計學(xué)與計算機學(xué)家之爭原來統(tǒng)計是在統(tǒng)計系，機器學(xué)習(xí)是在計算機系，這兩個是不相來往的，而且互相都不認同對方的價值。專注于機器學(xué)習(xí)的計算機學(xué)家認為那些統(tǒng)計理論沒有用，不解決問題；而統(tǒng)計學(xué)家則認為計算機學(xué)家只是在重新建造輪子，沒有新意。 然而，隨著機器學(xué)習(xí)的迅猛發(fā)展，統(tǒng)計學(xué)家認識到計算機學(xué)家正在做出的貢獻，而計算機學(xué)家也認識到統(tǒng)計的理論和方法論的普遍性意義。 Boosting, SVM 和稀疏學(xué)習(xí)是機器學(xué)習(xí)界也是統(tǒng)計界，是近二十年來最活躍的方向，其實是二者相輔相成的結(jié)果。比如，SVM的理論其實很早被Vapnik等提出來了，但計算機界發(fā)明了一個有效的求解算法，而且后來又有非常好的實現(xiàn)代碼被陸續(xù)開源給大家使用，于是SVM就變成分類算法的一個基準(zhǔn)模型。
所以兩者融合是必然的趨勢。 統(tǒng)計思想對機器學(xué)習(xí)的巨大貢獻我們清楚的知道，機器學(xué)習(xí)在應(yīng)用中迅猛發(fā)展，是人工智能具體落地的主角，也是臺前英雄，而統(tǒng)計卻是幕后推動者。
機器學(xué)習(xí)由于過度關(guān)注預(yù)測準(zhǔn)確性，缺乏完全發(fā)展的推理概念。 1）似乎沒有人認識到任何預(yù)測（參數(shù)估計等）都會受到隨機誤差和系統(tǒng)誤差（偏差）的影響。統(tǒng)計學(xué)家會接受這是預(yù)測中不可避免的一部分，并會嘗試估計錯誤。統(tǒng)計技術(shù)將嘗試找到具有最小偏差和隨機誤差的估計。 2）在機器學(xué)習(xí)中似乎沒有深入理解將模型應(yīng)用于來自同一分布群體的新樣本限制，盡管我們有劃分訓(xùn)練集、測試集。實際上，源于統(tǒng)計思想的交叉驗證和懲罰方法，指導(dǎo)在簡約性和模型復(fù)雜性之間達到權(quán)衡，早已是統(tǒng)計中非常廣泛的手段。而大部分機器學(xué)習(xí)從業(yè)者對這些指導(dǎo)原則似乎更為臨時。
正則化：統(tǒng)計中的懲罰思想在機器學(xué)習(xí)中，我們在正則化和SVM中接觸到懲罰方法，沒學(xué)過統(tǒng)計的，會感覺很陌生，其實這是在統(tǒng)計中經(jīng)常用的方法了。比如光滑樣條Smooth Spline通過對二階導(dǎo)數(shù)進行懲罰來控制擬合曲線的光滑程度；LASSO和Ridge regression回歸。 懲罰的核心目的是限制參數(shù)空間的大小以降低模型復(fù)雜度，懲罰本身反應(yīng)我們對對應(yīng)統(tǒng)計問題的某種先驗知識。懲罰有獨特的概率上的解釋，比如假設(shè)高斯噪聲的線性模型中，LASSO的L1懲罰相當(dāng)于給回歸參數(shù)加上了一個Laplace prior，而嶺回歸Ridge regression中的L2懲罰則對應(yīng)一般的normal prior。 在SVM的硬間隔支持向量機中，由于幾何間隔本身代表的是距離，是非負的，像上圖所示的紅色、綠色兩個噪聲點會使得整個問題無解。所以引入懲罰因子（松弛變量）這種統(tǒng)計學(xué)中的思想，使SVM有了容錯能力，更魯棒了。 線性回歸：隨機變量和離差平方和機器學(xué)習(xí)之前，線性回歸其實已經(jīng)是在統(tǒng)計學(xué)中用的最多的方法，所以如果我們理解線性回歸算法，如果以數(shù)據(jù)和擬合的機器學(xué)習(xí)視角來看問題，可能就覺得太簡單了，甚至理解的不那么深刻；而從統(tǒng)計的視角來看，就會發(fā)現(xiàn)還不是那么簡單，意義還很多，看看其統(tǒng)計思想： 1、隨機變量 Y= Xβ+ε Y是 X的線性函數(shù)(部分)加上誤差項，線性部分反映了由于X的變化而引起的Y的變化，誤差項ε是隨機變量，一般是均值為零的高斯分布。反映了除X和Y之間的線性關(guān)系之外的隨機因素對Y的影響。是不能由X和Y之間的線性關(guān)系所解釋的變異性。所以理解了隨機變量，才能真正理解我們擬合優(yōu)度目標(biāo)。 2、離差平方和
注意：離差平方和公式可以由均值為零的隨機變量誤差來推導(dǎo)。 樸素貝葉斯：貝葉斯定理樸素貝葉斯算法所體現(xiàn)的統(tǒng)計學(xué)思想就更多了： ①、貝葉斯定理；②特征條件之間相互獨立的假設(shè)。 這涉及很多統(tǒng)計與概率論的相關(guān)概念：條件概率，聯(lián)合概率分布，先驗概率，后驗概率，獨立性。 交叉驗證：重采樣方法交叉驗證本質(zhì)上說是重采樣方法，其思想起源是統(tǒng)計學(xué)。交叉驗證準(zhǔn)確度是可以解釋為與模型正確的概率相關(guān)的東西。 交叉驗證用在數(shù)據(jù)不是很充足的時候。 將樣本數(shù)據(jù)進行切分。在得到多組不同的訓(xùn)練集和測試集，某次訓(xùn)練集中的某樣本在下次可能成為測試集中的樣本，即所謂'交叉'。 支持向量機：統(tǒng)計學(xué)習(xí)理論
支持向量機的產(chǎn)生源于統(tǒng)計學(xué)習(xí)理論的突破。 統(tǒng)計學(xué)習(xí)理論是一種研究訓(xùn)練樣本有限情況下的機器學(xué)習(xí)規(guī)律的學(xué)科。換句話說，統(tǒng)計學(xué)習(xí)理論中，學(xué)習(xí)的統(tǒng)計性能，即通過有限樣本能否學(xué)習(xí)得到其中的一些規(guī)律？ 在統(tǒng)計學(xué)習(xí)理論產(chǎn)生之前，機器學(xué)習(xí)中統(tǒng)計學(xué)中關(guān)于估計的一致性、無偏性和估計方差的界等，以及分類錯誤率等漸近性特征是實際應(yīng)用中往往得不到滿足，而這種問題在高維空間時尤其如此。 由萬普尼克建立基于統(tǒng)計學(xué)習(xí)的機器學(xué)習(xí)理論，使用統(tǒng)計的方法，因此有別于歸納學(xué)習(xí)等其它機器學(xué)習(xí)方法。 （1）結(jié)構(gòu)風(fēng)險是為經(jīng)驗風(fēng)險與置信風(fēng)險的和。 （2）盡管經(jīng)驗風(fēng)險最小化的歸納原則是一致的，但是一致性是在樣本數(shù)量趨向無窮大時得到了，在樣本點個數(shù)有限的情況下，僅僅用經(jīng)驗風(fēng)險來近似期望風(fēng)險是十分粗糙的，結(jié)構(gòu)風(fēng)險則是期望風(fēng)險的一個上界。 基于這個理論的支持向量機，數(shù)學(xué)基礎(chǔ)非常完備，閃爍著統(tǒng)計思想的火花，對機器學(xué)習(xí)的理論界以及各個應(yīng)用領(lǐng)域都有極大的貢獻。 貝葉斯估計：足夠的觀察數(shù)據(jù)會讓分布更加真實在貝葉斯估計中的統(tǒng)計思想有： 一個是貝葉斯定理 一個是觀察數(shù)據(jù)，足夠的觀察數(shù)據(jù)會讓估計更加符合數(shù)據(jù)的真實分布。
已經(jīng)看到P（Θ）是先驗分布。它代表了我們對參數(shù)真實價值的信念，就像我們的分布代表了我們對出售冰淇淋概率的看法一樣。 左側(cè)的P（Θ|data）稱為后驗分布。這是在我們計算右側(cè)的所有內(nèi)容并將觀察到的數(shù)據(jù)考慮在內(nèi)之后表示我們對參數(shù)值的信念的分布。 P（data|Θ ）是似然分布。一般是高斯分布?（data;μ，σ）。 因此，我們可以通過使用我們提供的參數(shù)的先驗信念計算出后驗分布。
這是兩個觀察點下擬合的情況：
這是10個數(shù)據(jù)觀察點下的貝葉斯估計擬合的情況：
高斯過程：統(tǒng)計中高斯分布、貝葉斯定理、觀察數(shù)據(jù)、均值、方差的意義分布：高斯分布是實際中廣泛的存在。 貝葉斯定理：從先驗概率，即對一些關(guān)于事件發(fā)生概率的猜測開始，然后你觀察當(dāng)前事件發(fā)生的似然（可能性），并根據(jù)發(fā)生的事情更新你的初始猜測。 更新后，先驗概率稱為后驗概率。 所以要預(yù)測新數(shù)據(jù)點的y值，從概率的視角看，我們可以用條件概率來預(yù)測，即在歷史數(shù)據(jù)的X、Y值條件下，當(dāng)前y的概率分布。 分布均值：對y*的最佳估計 GP建模中的關(guān)鍵假設(shè)是我們的數(shù)據(jù)可以表示為來自多元高斯分布的樣本，我們有
我們對條件概率p（y* | y）感興趣：'給定數(shù)據(jù)，y *的特定預(yù)測的可能性有多大？'。 這個條件概率仍然遵循高斯分布（推導(dǎo)過程略），所以有：
對y*的最佳估計是這種分布的平均值：
分布的方差：估計不確定性度量 我們估計的不確定性由方差給出：
|
|
|
來自： 黃元章3355 > 《科技藝術(shù)》
