內(nèi)容導(dǎo)讀
最近聽(tīng)機(jī)器學(xué)習(xí)課程時(shí)聽(tīng)到這三個(gè)概念一開(kāi)始有點(diǎn)模糊。感覺(jué)沒(méi)理解透，所以自己又查了點(diǎn)資料，消化了一下，然后做了個(gè)筆記。 首先三者之間的聯(lián)系是 Error = Bias + Variance（這里應(yīng)該是忽略的噪音）。Error反映的是整個(gè)模型的準(zhǔn)確度，說(shuō)白了就是你給出的模型，input一個(gè)變量，和理想的output之間吻合程度，吻合度高就是Error低。Bias反映的是模型在樣本上的輸出與真實(shí)值之間的誤差，即模型本身的精準(zhǔn)度，其實(shí)Bias在股票上也有應(yīng)用，也可以反映股價(jià)在波動(dòng)過(guò)程中與移動(dòng)平均線偏離程度（乖離率），炒股的朋友應(yīng)該知道均線的概念。其實(shí)通過(guò)這個(gè)我感覺(jué)可以更容易的理解這個(gè)概念，我們知道Bias是受算法模型的復(fù)雜度決定的，假設(shè)下圖的紅線是我們給出的模型，藍(lán)色的點(diǎn)就是樣本，這是一個(gè)最簡(jiǎn)單的線性模型，這個(gè)時(shí)候Bias就可以通過(guò)這些藍(lán)色的點(diǎn)到紅線沿Y軸的垂直距離來(lái)反映（即真實(shí)值與模型輸出的誤差），距離越大說(shuō)明Bias越大，也說(shuō)明擬合度更低。 當(dāng)我們?cè)黾幽Ｐ偷膹?fù)雜度，剛剛是一個(gè)線性的模型，現(xiàn)在是一個(gè)四次方的模型，可以明顯看出點(diǎn)到模型的沿Y軸的垂直距離更少了，即擬合度更高了，所以Bias也更低了。所以這樣我們就可以很容易理解Bias和模型復(fù)雜度之間的關(guān)系了。給出結(jié)論：當(dāng)模型復(fù)雜度上升時(shí)，Bias減小。當(dāng)模型復(fù)雜度降低時(shí)，Bias增加。這里就涉及到了欠擬合(unfitting)和過(guò)度擬合（overFitting）的問(wèn)題了。好了，接下來(lái)讓我們看看Variance（方差）的定義。 Variance（方差）反映的是模型每一次輸出結(jié)果與模型輸出期望之間的誤差，即模型的穩(wěn)定性。在概率論和統(tǒng)計(jì)學(xué)中方差是衡量隨機(jī)變量或一組數(shù)據(jù)時(shí)離散程度的度量。下圖中紅線就是每一組樣本對(duì)應(yīng)的模型，想象一下真實(shí)數(shù)據(jù)有無(wú)限多，我們以10個(gè)樣本為一組，選取了500個(gè)樣本組，然后在線性模型下，針對(duì)這500個(gè)樣本組，我們會(huì)有500組不同的b和w值組成的線性模型，最后構(gòu)成左圖的樣子。當(dāng)我們的模型升級(jí)成5次方的復(fù)雜程度時(shí)，針對(duì)這500個(gè)樣本組，我們會(huì)有右邊這張圖顯示的500組不同的參數(shù)構(gòu)成的模型。可以看出，明顯右邊的圖比左邊的圖更離散一些，試想一個(gè)極端情況，當(dāng)模型就是一個(gè)常數(shù)時(shí)，這個(gè)時(shí)候模型復(fù)雜度最低，同時(shí)Variance也為0。所以我們可以得出結(jié)論：當(dāng)模型復(fù)雜度低時(shí)，Variance更低，當(dāng)模型復(fù)雜度高時(shí)，Variance更高。 到這里我們可以給出兩個(gè)結(jié)論。 一、Bias和模型復(fù)雜度的關(guān)系：當(dāng)模型復(fù)雜度上升時(shí)，Bias減小。當(dāng)模型復(fù)雜度降低時(shí)，Bias增加。（反比關(guān)系） 二、Variance和模型復(fù)雜度的關(guān)系：當(dāng)模型復(fù)雜度低時(shí)，Variance更低，當(dāng)模型復(fù)雜度高時(shí)，Variance更高。（正比關(guān)系） 一開(kāi)始我們就知道Error = Bias + Variance。整個(gè)模型的準(zhǔn)確度和這兩個(gè)都有關(guān)系，所以這下看似是有些矛盾的。如何才能取到最小的Error呢，看下圖，藍(lán)線就是Error的伴隨Bias和Variance的變化情況，可以看出橫坐標(biāo)3應(yīng)該是一個(gè)較好的結(jié)果。所以我們需要找到一個(gè)平衡點(diǎn)取得最優(yōu)解。 實(shí)際情景中我們?cè)趺磁袛嘧约旱哪Ｐ褪荁ias大還是Variance大呢，這個(gè)就要看到底是你的模型無(wú)法盡量大的擬合你的樣本還是你的模型高度擬合你的樣本但是用測(cè)試數(shù)據(jù)算時(shí)誤差右很大。前者就是應(yīng)該bias大導(dǎo)致的，也就是模型復(fù)雜度太低導(dǎo)致的。后者就是因?yàn)槟Ｐ蛷?fù)雜度高導(dǎo)致Variance高導(dǎo)致的。 以上就是我對(duì)Bias(偏差)，Error(誤差)，和Variance(方差)的一些簡(jiǎn)單理解，圖全是截取自李宏毅的PPT中。 |
|
|
