支持向量機(jī)（SVM）圖解

1、簡(jiǎn)介

支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力。

SVM的關(guān)鍵在于核函數(shù)。低維空間向量集通常難于劃分，解決的方法是將它們映射到高維空間。但這個(gè)辦法帶來(lái)的困難就是計(jì)算復(fù)雜度的增加，而核函數(shù)正好巧妙地解決了這個(gè)問(wèn)題。也就是說(shuō)，只要選用適當(dāng)?shù)暮撕瘮?shù)，就可以得到高維空間的分類函數(shù)。在SVM理論中，采用不同的核函數(shù)將導(dǎo)致不同的SVM算法。

在確定了核函數(shù)之后，由于確定核函數(shù)的已知數(shù)據(jù)也存在一定的誤差，考慮到推廣性問(wèn)題，因此引入了松弛系數(shù)以及懲罰系數(shù)兩個(gè)參變量來(lái)加以校正。在確定了核函數(shù)基礎(chǔ)上，再經(jīng)過(guò)大量對(duì)比實(shí)驗(yàn)等將這兩個(gè)系數(shù)取定，該項(xiàng)研究就基本完成，適合相關(guān)學(xué)科或業(yè)務(wù)內(nèi)應(yīng)用，且有一定能力的推廣性。當(dāng)然誤差是絕對(duì)的，不同學(xué)科、不同專業(yè)的要求不一。

2、SVM的不足

在海量數(shù)據(jù)處理中，SVM面臨兩個(gè)困難：

1）SVM算法對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施

由于SVM是借助二次規(guī)劃來(lái)求解支持向量，而求解二次規(guī)劃將涉及m階矩陣的計(jì)算（m為樣本的個(gè)數(shù)），當(dāng)m很大時(shí)該矩陣的存儲(chǔ)和計(jì)算將耗費(fèi)大量的機(jī)器內(nèi)存和運(yùn)算時(shí)間。

2）利用SVM解決多分類問(wèn)題存在困難

由于經(jīng)典的支持向量機(jī)算法只給出了二類分類的算法，而在數(shù)據(jù)挖掘的實(shí)際應(yīng)用中，一般要解決多類的分類問(wèn)題。其解決方法一般如下：

A、通過(guò)構(gòu)造多個(gè)二類支持向量機(jī)的組合來(lái)解決。主要有一對(duì)多組合模式、一對(duì)一組合模式和SVM決策樹。

B、通過(guò)構(gòu)造多個(gè)分類器的組合來(lái)解決。這樣不僅克服了SVM的缺點(diǎn)，而且結(jié)合其他算法的優(yōu)勢(shì)，解決了多累分類問(wèn)題的精度。