3.數(shù)據(jù)準備

使用WEKA作數(shù)據(jù)挖掘，面臨的第一個問題往往是我們的數(shù)據(jù)不是ARFF格式的。幸好，WEKA還提供了對CSV文件的支持，而這種格式是被很多其他軟件所支持的。此外，WEKA還提供了通過JDBC訪問數(shù)據(jù)庫的功能。
在這一節(jié)里，我們先以Excel和Matlab為例，說明如何獲得CSV文件。然后我們將知道CSV文件如何轉化成ARFF文件，畢竟后者才是WEKA支持得最好的文件格式。面對一個ARFF文件，我們?nèi)杂幸恍╊A處理要做，才能進行挖掘任務。

.* -> .csv
我們給出一個CSV文件的例子（bank-data.csv）。用UltraEdit打開它可以看到，這種格式也是一種逗號分割數(shù)據(jù)的文本文件,儲存了一個二維表格。

Excel的XLS文件可以讓多個二維表格放到不同的工作表（Sheet）中，我們只能把每個工作表存成不同的CSV文件。打開一個XLS文件并切換到需要轉換的工作表，另存為CSV類型，點“確定”、“是”忽略提示即可完成操作。

在Matlab中的二維表格是一個矩陣，我們通過這條命令把一個矩陣存成CSV格式。
csvwrite('filename',matrixname)
需要注意的是，Matllab給出的CSV文件往往沒有屬性名（Excel給出的也有可能沒有）。而WEKA必須從CSV文件的第一行讀取屬性名，否則就會把第一行的各屬性值讀成變量名。因此我們對于Matllab給出的CSV文件需要用UltraEdit打開，手工添加一行屬性名。注意屬性名的個數(shù)要跟數(shù)據(jù)屬性的個數(shù)一致，仍用逗號隔開。

.csv -> .arff
將CSV轉換為ARFF最迅捷的辦法是使用WEKA所帶的命令行工具。
運行WEKA的主程序，出現(xiàn)GUI后可以點擊下方按鈕進入相應的模塊。我們點擊進入“Simple CLI”模塊提供的命令行功能。在新窗口的最下方（上方是不能寫字的）輸入框寫上
java weka.core.converters.CSVLoader filename.csv > filename.arff
即可完成轉換。
在WEKA 3.5中提供了一個“Arff Viewer”模塊，我們可以用它打開一個CSV文件將進行瀏覽，然后另存為ARFF文件。
進入“Exploer”模塊，從上方的按鈕中打開CSV文件然后另存為ARFF文件亦可。

“Exploer”界面
我們應該注意到，“Exploer”還提供了很多功能，實際上可以說這是WEKA使用最多的模塊?，F(xiàn)在我們先來熟悉它的界面，然后利用它對數(shù)據(jù)進行預處理。
圖2
圖2顯示的是使用3.5版"Exploer"打開"bank-data.csv"的情況。我們根據(jù)不同的功能把這個界面分成8個區(qū)域。
區(qū)域1的幾個選項卡是用來切換不同的挖掘任務面板。這一節(jié)用到的只有“Preprocess”，其他面板的功能將在以后介紹。
區(qū)域2是一些常用按鈕。包括打開數(shù)據(jù)，保存及編輯功能。我們在這里把"bank-data.csv"另存為"bank-data.arff"。
在區(qū)域3中“Choose”某個“Filter”，可以實現(xiàn)篩選數(shù)據(jù)或者對數(shù)據(jù)進行某種變換。數(shù)據(jù)預處理主要就利用它來實現(xiàn)。
區(qū)域4展示了數(shù)據(jù)集的一些基本情況。
區(qū)域5中列出了數(shù)據(jù)集的所有屬性。勾選一些屬性并“Remove”就可以刪除它們，刪除后還可以利用區(qū)域2的“Undo”按鈕找回。區(qū)域5上方的一排按鈕是用來實現(xiàn)快速勾選的。
在區(qū)域5中選中某個屬性，則區(qū)域6中有關于這個屬性的摘要。注意對于數(shù)值屬性和分類屬性，摘要的方式是不一樣的。圖中顯示的是對數(shù)值屬性“income”的摘要。
區(qū)域7是區(qū)域5中選中屬性的直方圖。若數(shù)據(jù)集的最后一個屬性（我們說過這是分類或回歸任務的默認目標變量）是分類變量（這里的“pep”正好是），直方圖中的每個長方形就會按照該變量的比例分成不同顏色的段。要想換個分段的依據(jù)，在區(qū)域7上方的下拉框中選個不同的分類屬性就可以了。下拉框里選上“No Class”或者一個數(shù)值屬性會變成黑白的直方圖。
區(qū)域8是狀態(tài)欄，可以查看Log以判斷是否有錯。右邊的weka鳥在動的話說明WEKA正在執(zhí)行挖掘任務。右鍵點擊狀態(tài)欄還可以執(zhí)行JAVA內(nèi)存的垃圾回收。

預處理
bank-data數(shù)據(jù)各屬性的含義如下：
id a unique identification number
age age of customer in years (numeric)
sex MALE / FEMALE
region inner_city/rural/suburban/town
income income of customer (numeric)
married is the customer married (YES/NO)
children number of children (numeric)
car does the customer own a car (YES/NO)
save_acct does the customer have a saving account (YES/NO)
current_acct does the customer have a current account (YES/NO)
mortgage does the customer have a mortgage (YES/NO)
pep did the customer buy a PEP (Personal Equity Plan) after the last mailing (YES/NO)

通常對于數(shù)據(jù)挖掘任務來說，ID這樣的信息是無用的，我們將之刪除。在區(qū)域5勾選屬性“id”，并點擊“Remove”。將新的數(shù)據(jù)集保存一次，并用UltraEdit打開這個ARFF文件。我們發(fā)現(xiàn)，在屬性聲明部分，WEKA已經(jīng)為每個屬性選好了合適的類型。

我們知道，有些算法，只能處理所有的屬性都是分類型的情況。這時候我們就需要對數(shù)值型的屬性進行離散化。在這個數(shù)據(jù)集中有3個變量是數(shù)值型的，分別是“age”，“income”和“children”。
其中“children”只有4個取值：0，1，2，3。這時我們在UltraEdit中直接修改ARFF文件，把
@attribute children numeric
改為
@attribute children {0,1,2,3}
就可以了。
在“Explorer”中重新打開“bank-data.arff”，看看選中“children”屬性后，區(qū)域6那里顯示的“Type”是不是變成“Nominal”了？

“age”和“income”的離散化我們需要借助WEKA中名為“Discretize”的Filter來完成。在區(qū)域2中點“Choose”，出現(xiàn)一棵“Filter樹”，逐級找到“weka.filters.unsupervised.attribute.Discretize”，點擊。若無法關閉這個樹，在樹之外的地方點擊“Explorer”面板即可。
現(xiàn)在“Choose”旁邊的文本框應該顯示“Discretize -B 10 -M -0.1 -R first-last”。 點擊這個文本框會彈出新窗口以修改離散化的參數(shù)。
我們不打算對所有的屬性離散化，只是針對對第1個和第4個屬性（見區(qū)域5屬性名左邊的數(shù)字），故把attributeIndices右邊改成“1,4”。計劃把這兩個屬性都分成3段，于是把“bins”改成“3”。其它框里不用更改，關于它們的意思可以點“More”查看。點“OK”回到“Explorer”，可以看到“age”和“income”已經(jīng)被離散化成分類型的屬性。若想放棄離散化可以點區(qū)域2的“Undo”。
如果對“"(-inf-34.333333]"”這樣晦澀的標識不滿，我們可以用UltraEdit打開保存后的ARFF文件，把所有的“'\'(-inf-34.333333]\''”替換成“0_34”。其它標識做類似地手動替換。

經(jīng)過上述操作得到的數(shù)據(jù)集我們保存為bank-data-final.arff。

----整理自http://maya.cs./~classes/ect584/WEKA/preprocess.html


4. 關聯(lián)規(guī)則（購物籃分析）
注意：目前，WEKA的關聯(lián)規(guī)則分析功能僅能用來作示范，不適合用來挖掘大型數(shù)據(jù)集。

我們打算對前面的“bank-data”數(shù)據(jù)作關聯(lián)規(guī)則的分析。用“Explorer”打開“bank-data-final.arff”后，切換到“Associate”選項卡。默認關聯(lián)規(guī)則分析是用Apriori算法，我們就用這個算法，但是點“Choose”右邊的文本框修改默認的參數(shù)，彈出的窗口中點“More”可以看到各參數(shù)的說明。

背景知識
首先我們來溫習一下Apriori的有關知識。對于一條關聯(lián)規(guī)則L->R，我們常用支持度（Support）和置信度（Confidence）來衡量它的重要性。規(guī)則的支持度是用來估計在一個購物籃中同時觀察到L和R的概率P(L,R)，而規(guī)則的置信度是估計購物欄中出現(xiàn)了L時也出會現(xiàn)R的條件概率P(R|L)。關聯(lián)規(guī)則的目標一般是產(chǎn)生支持度和置信度都較高的規(guī)則。
有幾個類似的度量代替置信度來衡量規(guī)則的關聯(lián)程度，它們分別是
Lift（提升度？）： P(L,R)/(P(L)P(R))
Lift=1時表示L和R獨立。這個數(shù)越大，越表明L和R存在在一個購物籃中不是偶然現(xiàn)象。
Leverage（不知道怎么翻譯）：P(L,R)-P(L)P(R)
它和Lift的含義差不多。Leverage=0時L和R獨立，Leverage越大L和R的關系越密切。
Conviction（更不知道譯了）：P(L)P(!R)/P(L,!R) （!R表示R沒有發(fā)生）
Conviction也是用來衡量L和R的獨立性。從它和lift的關系（對R取反，代入Lift公式后求倒數(shù)）可以看出，我們也希望這個值越大越好。
值得注意的是，用Lift和Leverage作標準時，L和R是對稱的，Confidence和Conviction則不然。

參數(shù)設置
現(xiàn)在我們計劃挖掘出支持度在10%到100%之間，并且lift值超過1.5且lift值排在前100位的那些關聯(lián)規(guī)則。我們把“lowerBoundMinSupport”和“upperBoundMinSupport”分別設為0.1和1，“metricType”設為lift，“minMetric”設為1.5，“numRules”設為100。其他選項保持默認即可。“OK” 之后在“Explorer”中點擊“Start”開始運行算法，在右邊窗口顯示數(shù)據(jù)集摘要和挖掘結果。

下面是挖掘出來的lift排前5的規(guī)則。
Best rules found:
1. age=52_max save_act=YES current_act=YES 113 ==> income=43759_max 61 conf:(0.54) < lift:(4.05)> lev:(0.08) [45] conv:(1.85)
  2. income=43759_max 80 ==> age=52_max save_act=YES current_act=YES 61 conf:(0.76) < lift:(4.05)> lev:(0.08) [45] conv:(3.25)
  3. income=43759_max current_act=YES 63 ==> age=52_max save_act=YES 61 conf:(0.97) < lift:(3.85)> lev:(0.08) [45] conv:(15.72)
  4. age=52_max save_act=YES 151 ==> income=43759_max current_act=YES 61 conf:(0.4) < lift:(3.85)> lev:(0.08) [45] conv:(1.49)
  5. age=52_max save_act=YES 151 ==> income=43759_max 76 conf:(0.5) < lift:(3.77)> lev:(0.09) [55] conv:(1.72)
對于挖掘出的每條規(guī)則，WEKA列出了它們關聯(lián)程度的四項指標。

命令行方式
我們也可以利用命令行來完成挖掘任務，在“Simlpe CLI”模塊中輸入如下格式的命令：
java weka.associations.Apriori options -t directory-path\bank-data-final.arff
即可完成Apriori算法。注意，“-t”參數(shù)后的文件路徑中不能含有空格。
在前面我們使用的option為
-N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 命令行中使用這些參數(shù)得到的結果和前面利用GUI得到的一樣。
我們還可以加上“- I”參數(shù)，得到不同項數(shù)的頻繁項集。我用的命令如下：
java weka.associations.Apriori -N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 -I -t d:\weka\bank-data-final.arff
挖掘結果在上方顯示，應是這個文件的樣子。

----整理自http://maya.cs./~classes/ect584/WEKA/associate.html

5. 分類與回歸

背景知識
WEKA把分類(Classification)和回歸(Regression)都放在“Classify”選項卡中，這是有原因的。
在這兩個任務中，都有一個目標屬性（輸出變量）。我們希望根據(jù)一個樣本(WEKA中稱作實例)的一組特征（輸入變量），對目標進行預測。為了實現(xiàn)這一目的，我們需要有一個訓練數(shù)據(jù)集，這個數(shù)據(jù)集中每個實例的輸入和輸出都是已知的。觀察訓練集中的實例，可以建立起預測的模型。有了這個模型，我們就可以新的輸出未知的實例進行預測了。衡量模型的好壞就在于預測的準確程度。
在WEKA中，待預測的目標（輸出）被稱作Class屬性，這應該是來自分類任務的“類”。一般的，若Class屬性是分類型時我們的任務才叫分類，Class屬性是數(shù)值型時我們的任務叫回歸。

選擇算法
這一節(jié)中，我們使用C4.5決策樹算法對bank-data建立起分類模型。
我們來看原來的“bank-data.csv”文件。“ID”屬性肯定是不需要的。由于C4.5算法可以處理數(shù)值型的屬性，我們不用像前面用關聯(lián)規(guī)則那樣把每個變量都離散化成分類型。盡管如此，我們還是把“Children”屬性轉換成分類型的兩個值“YES”和“NO”。另外，我們的訓練集僅取原來數(shù)據(jù)集實例的一半；而從另外一半中抽出若干條作為待預測的實例，它們的“pep”屬性都設為缺失值。經(jīng)過了這些處理的訓練集數(shù)據(jù)在這里下載；待預測集數(shù)據(jù)在這里下載。

我們用“Explorer”打開訓練集“bank.arff”，觀察一下它是不是按照前面的要求處理好了。切換到“Classify”選項卡，點擊“Choose”按鈕后可以看到很多分類或者回歸的算法分門別類的列在一個樹型框里。3.5版的WEKA中，樹型框下方有一個“Filter...”按鈕，點擊可以根據(jù)數(shù)據(jù)集的特性過濾掉不合適的算法。我們數(shù)據(jù)集的輸入屬性中有“Binary”型（即只有兩個類的分類型）和數(shù)值型的屬性，而Class變量是“Binary”的；于是我們勾選“Binary attributes”“Numeric attributes”和“Binary class”。點“OK”后回到樹形圖，可以發(fā)現(xiàn)一些算法名稱變紅了，說明它們不能用。選擇“trees”下的“J48”，這就是我們需要的C4.5算法，還好它沒有變紅。
點擊“Choose”右邊的文本框，彈出新窗口為該算法設置各種參數(shù)。點“More”查看參數(shù)說明，點“Capabilities”是查看算法適用范圍。這里我們把參數(shù)保持默認。
現(xiàn)在來看左中的“Test Option”。我們沒有專門設置檢驗數(shù)據(jù)集，為了保證生成的模型的準確性而不至于出現(xiàn)過擬合（overfitting）的現(xiàn)象，我們有必要采用10折交叉驗證（10-fold cross validation）來選擇和評估模型。若不明白交叉驗證的含義可以Google一下。

建模結果
OK，選上“Cross-validation”并在“Folds”框填上“10”。點“Start”按鈕開始讓算法生成決策樹模型。很快，用文本表示的一棵決策樹，以及對這個決策樹的誤差分析等等結果出現(xiàn)在右邊的“Classifier output”中。同時左下的“Results list”出現(xiàn)了一個項目顯示剛才的時間和算法名稱。如果換一個模型或者換個參數(shù)，重新“Start”一次，則“Results list”又會多出一項。

我們看到“J48”算法交叉驗證的結果之一為
Correctly Classified Instances 206 68.6667 %
也就是說這個模型的準確度只有69%左右。也許我們需要對原屬性進行處理，或者修改算法的參數(shù)來提高準確度。但這里我們不管它，繼續(xù)用這個模型。

右鍵點擊“Results list”剛才出現(xiàn)的那一項，彈出菜單中選擇“Visualize tree”，新窗口里可以看到圖形模式的決策樹。建議把這個新窗口最大化，然后點右鍵，選“Fit to screen”，可以把這個樹看清楚些?？赐旰蠼貓D或者關掉:P

這里我們解釋一下“Confusion Matrix”的含義。
=== Confusion Matrix ===
  a b <-- classified as
  74 64 | a = YES
  30 132 | b = NO
這個矩陣是說，原本“pep”是“YES”的實例，有74個被正確的預測為“YES”，有64個錯誤的預測成了“NO”；原本“pep”是“NO”的實例，有30個被錯誤的預測為“YES”，有132個正確的預測成了“NO”。74+64+30+132 = 300是實例總數(shù)，而(74+132)/300 = 0.68667正好是正確分類的實例所占比例。這個矩陣對角線上的數(shù)字越大，說明預測得越好。

模型應用
現(xiàn)在我們要用生成的模型對那些待預測的數(shù)據(jù)集進行預測了。注意待預測數(shù)據(jù)集和訓練用數(shù)據(jù)集各個屬性的設置必須是一致的。即使你沒有待預測數(shù)據(jù)集的Class屬性的值，你也要添加這個屬性，可以將該屬性在各實例上的值均設成缺失值。
在“Test Opion”中選擇“Supplied test set”，并且“Set”成你要應用模型的數(shù)據(jù)集，這里是“bank-new.arff”文件。
現(xiàn)在，右鍵點擊“Result list”中剛產(chǎn)生的那一項，選擇“Re-evaluate model on current test set”。右邊顯示結果的區(qū)域中會增加一些內(nèi)容，告訴你該模型應用在這個數(shù)據(jù)集上表現(xiàn)將如何。如果你的Class屬性都是些缺失值，那這些內(nèi)容是無意義的，我們關注的是模型在新數(shù)據(jù)集上的預測值。
現(xiàn)在點擊右鍵菜單中的“Visualize classifier errors”，將彈出一個新窗口顯示一些有關預測誤差的散點圖。點擊這個新窗口中的“Save”按鈕，保存一個Arff文件。打開這個文件可以看到在倒數(shù)第二個位置多了一個屬性（predictedpep），這個屬性上的值就是模型對每個實例的預測值。

使用命令行（推薦）
雖然使用圖形界面查看結果和設置參數(shù)很方便，但是最直接最靈活的建模及應用的辦法仍是使用命令行。
打開“Simple CLI”模塊，像上面那樣使用“J48”算法的命令格式為：
java weka.classifiers.trees.J48 -C 0.25 -M 2 -t directory-path\bank.arff -d directory-path \bank.model
其中參數(shù)“ -C 0.25”和“-M 2”是和圖形界面中所設的一樣的。“-t ”后面跟著的是訓練數(shù)據(jù)集的完整路徑（包括目錄和文件名），“-d ”后面跟著的是保存模型的完整路徑。注意！這里我們可以把模型保存下來。
輸入上述命令后，所得到樹模型和誤差分析會在“Simple CLI”上方顯示，可以復制下來保存在文本文件里。誤差是把模型應用到訓練集上給出的。
把這個模型應用到“bank-new.arff”所用命令的格式為：
java weka.classifiers.trees.J48 -p 9 -l directory-path\bank.model -T directory-path \bank-new.arff
其中“-p 9”說的是模型中的待預測屬性的真實值存在第9個（也就是“pep”）屬性中，這里它們?nèi)课粗虼巳坑萌笔е荡妗?#8220;-l”后面是模型的完整路徑。“-T”后面是待預測數(shù)據(jù)集的完整路徑。
輸入上述命令后，在“Simple CLI”上方會有這樣一些結果：
0 YES 0.75 ?
1 NO 0.7272727272727273 ?
2 YES 0.95 ?
3 YES 0.8813559322033898 ?
4 NO 0.8421052631578947 ?
...
這里的第一列就是我們提到過的“Instance_number”，第二列就是剛才的“predictedpep”，第四列則是“bank-new.arff”中原來的“pep”值（這里都是“?”缺失值）。第三列對預測結果的置信度（confidence ）。比如說對于實例0，我們有75%的把握說它的“pep”的值會是“YES”，對實例4我們有84.2%的把握說它的“pep”值會是“NO”。
我們看到，使用命令行至少有兩個好處。一個是可以把模型保存下來，這樣有新的待預測數(shù)據(jù)出現(xiàn)時，不用每次重新建模，直接應用保存好的模型即可。另一個是對預測結果給出了置信度，我們可以有選擇的采納預測結果，例如，只考慮那些置信度在85%以上的結果。

----整理自http://maya.cs./~classes/ect584/WEKA/classify.html



6. 聚類分析

原理與實現(xiàn)
聚類分析中的“類”（cluster）和前面分類的“類”（class）是不同的，對cluster更加準確的翻譯應該是“簇”。聚類的任務是把所有的實例分配到若干的簇，使得同一個簇的實例聚集在一個簇中心的周圍，它們之間距離的比較近；而不同簇實例之間的距離比較遠。對于由數(shù)值型屬性刻畫的實例來說，這個距離通常指歐氏距離。
現(xiàn)在我們對前面的“bank data”作聚類分析，使用最常見的K均值（K-means）算法。下面我們簡單描述一下K均值聚類的步驟。
K均值算法首先隨機的指定K個簇中心。然后：1)將每個實例分配到距它最近的簇中心，得到K個簇；2)計分別計算各簇中所有實例的均值，把它們作為各簇新的簇中心。重復1)和2)，直到K個簇中心的位置都固定，簇的分配也固定。

上述K均值算法只能處理數(shù)值型的屬性，遇到分類型的屬性時要把它變?yōu)槿舾蓚€取值0和1的屬性。WEKA將自動實施這個分類型到數(shù)值型的變換，而且WEKA會自動對數(shù)值型的數(shù)據(jù)作標準化。因此，對于原始數(shù)據(jù)“bank-data.csv”，我們所做的預處理只是刪去屬性“id”，保存為ARFF格式后，修改屬性“children”為分類型。這樣得到的數(shù)據(jù)文件為“bank.arff”，含600條實例。

用“Explorer”打開剛才得到的“bank.arff”，并切換到“Cluster”。點“Choose”按鈕選擇“SimpleKMeans”，這是WEKA中實現(xiàn)K均值的算法。點擊旁邊的文本框，修改“numClusters”為6，說明我們希望把這600條實例聚成6類，即K=6。下面的“seed”參數(shù)是要設置一個隨機種子，依此產(chǎn)生一個隨機數(shù)，用來得到K均值算法中第一次給出的K個簇中心的位置。我們不妨暫時讓它就為10。
選中“Cluster Mode”的“Use training set”，點擊“Start”按鈕，觀察右邊“Clusterer output”給出的聚類結果。也可以在左下角“Result list”中這次產(chǎn)生的結果上點右鍵，“View in separate window”在新窗口中瀏覽結果。

結果解釋
首先我們注意到結果中有這么一行：
Within cluster sum of squared errors: 1604.7416693522332
這是評價聚類好壞的標準，數(shù)值越小說明同一簇實例之間的距離越小。也許你得到的數(shù)值會不一樣；實際上如果把“seed”參數(shù)改一下，得到的這個數(shù)值就可能會不一樣。我們應該多嘗試幾個seed，并采納這個數(shù)值最小的那個結果。例如我讓“seed”取100，就得到
Within cluster sum of squared errors: 1555.6241507629218
我該取后面這個。當然再嘗試幾個seed，這個數(shù)值可能會更小。

接下來“Cluster centroids:”之后列出了各個簇中心的位置。對于數(shù)值型的屬性，簇中心就是它的均值（Mean）；分類型的就是它的眾數(shù)（Mode）， 也就是說這個屬性上取值為眾數(shù)值的實例最多。對于數(shù)值型的屬性，還給出了它在各個簇里的標準差（Std Devs）。

最后的“Clustered Instances”是各個簇中實例的數(shù)目及百分比。

為了觀察可視化的聚類結果，我們在左下方“Result list”列出的結果上右擊，點“Visualize cluster assignments”。彈出的窗口給出了各實例的散點圖。最上方的兩個框是選擇橫坐標和縱坐標，第二行的“color”是散點圖著色的依據(jù)，默認是根據(jù)不同的簇“Cluster”給實例標上不同的顏色。
可以在這里點“Save”把聚類結果保存成ARFF文件。在這個新的ARFF文件中，“instance_number”屬性表示某實例的編號，“Cluster”屬性表示聚類算法給出的該實例所在的簇。


----整理自 http://maya.cs./~classes/ect584/WEKA/k-means.html