IBM SPSS Modeler 中的蒙特卡洛模擬算法蒙特卡洛方法也稱統(tǒng)計模擬方法，是一種以概率統(tǒng)計理論為指導(dǎo)的一類非常重要的數(shù)值計算方法。蒙特卡洛方法通?？梢苑殖蓛深悾阂活愂撬蠼獾膯栴}本身具有內(nèi)在的隨機(jī)性，借助計算機(jī)的運(yùn)算能力可以直接模擬這種隨機(jī)的過程。另一種類型是所求解問題可以轉(zhuǎn)化為某種隨機(jī)分布的特征數(shù)，比如 隨機(jī)事件 出現(xiàn)的 概率 ，或者 隨機(jī)變量 的 期望值 。通過隨機(jī)抽樣的方法，以隨機(jī)事件出現(xiàn)的 頻率 估計其 概率 ，或者以 抽樣 的 數(shù)字特征 估算 隨機(jī)變量 的 數(shù)字特征 ，并將其作為問題的解。這種方法多用于求解復(fù)雜的多維積分問題。在 IBM SPSS Modeler 中，蒙特卡洛模擬算法分為三個節(jié)點，其中“模擬生成”節(jié)點提供了一種使用大量統(tǒng)計分布從頭開始生成綜合數(shù)據(jù)的簡便方法；“擬合”節(jié)點可以自動構(gòu)建預(yù)配置的源節(jié)點，反映歷史變量的分布和歷史變量間的關(guān)系；“模擬評估”節(jié)點是設(shè)計用于評估由模擬分析流產(chǎn)生的字段的終端節(jié)點，并能提供有用的分布和相關(guān)圖。 限于篇幅，本文將分為上下兩篇進(jìn)行闡述，上篇重點闡述模擬節(jié)點之?dāng)M合及生成節(jié)點，下篇則重點介紹模擬評估節(jié)點。本文為上篇。 回頁首 模擬節(jié)點的屬性及設(shè)置“模擬擬合”節(jié)點屬性及設(shè)置1. 節(jié)點屬性 “模擬擬合”節(jié)點是將一組候選統(tǒng)計分布擬合到數(shù)據(jù)中的每個字段。每個分布到字段的擬合可以通過擬合度標(biāo)準(zhǔn)進(jìn)行評估。執(zhí)行“模擬擬合”節(jié)點時，它可以為每個字段分配其最佳擬合分布并自動構(gòu)建一個“模擬生成”節(jié)點（或更新現(xiàn)有節(jié)點）。使用“模擬生成”節(jié)點就可以為每個字段生成模擬數(shù)據(jù)。雖然“模擬擬合”節(jié)點是一個終端節(jié)點，但它不能生成模型，也不能輸出或圖表或者導(dǎo)出數(shù)據(jù)。 如果歷史數(shù)據(jù)較為稀疏（即缺失值非常多），那么擬合組件可能很難找到足夠多的有效值將分布擬合到數(shù)據(jù)。因此要將分布擬合到數(shù)據(jù)，擬合組件至少需要 2000 個有效值。因此當(dāng)數(shù)據(jù)較為稀疏時應(yīng)先去除不需要的稀疏字段或插補(bǔ)缺失值，然后再進(jìn)行擬合。通過使用“數(shù)據(jù)審核”節(jié)點的質(zhì)量選項卡上的選項，可以查看完整記錄的數(shù)目、標(biāo)識稀疏字段并選擇插補(bǔ)方法。如果用于分布擬合的記錄數(shù)不足，也可使用“平衡”節(jié)點來增加記錄數(shù)。 2. 節(jié)點設(shè)置 雙擊“模擬擬合”節(jié)點打開節(jié)點的“設(shè)置”選項卡。在擬合選項中，通過這些選項可以指定分布擬合到字段的方式以及評估分布擬合的方式。
“模擬生成”節(jié)點屬性及設(shè)置1. 節(jié)點屬性 “模擬生成”節(jié)點提供了一種生成模擬數(shù)據(jù)的簡單方法，即在沒有歷史數(shù)據(jù)的情況下，使用用戶指定的統(tǒng)計分布生成數(shù)據(jù)；或者使用對現(xiàn)有歷史數(shù)據(jù)運(yùn)行“模擬擬合”節(jié)點而獲取其分布并自動生成數(shù)據(jù)。如果模型輸入中存在不確定性，那么在對預(yù)測模型的結(jié)果進(jìn)行評估時，生成模擬數(shù)據(jù)就非常有用。
在“源”選用板中找到“模擬生成”節(jié)點，并且可以將其直接添加到流中。 雙擊打開此節(jié)點的設(shè)置對話框，選擇的“模擬生成”節(jié)點將是完全空白的，不包含任何字段和分布信息。因此可以在完全沒有歷史數(shù)據(jù)的情況下創(chuàng)建模擬數(shù)據(jù)并指定字段、存儲類型、統(tǒng)計分布和分布參數(shù)等。
運(yùn)行“模擬擬合”節(jié)點，在“模擬生成”節(jié)點與“模擬擬合”節(jié)點之間會創(chuàng)建一個鏈接并自動生成“模擬生成”節(jié)點，該節(jié)點從“模擬擬合”節(jié)點中繼承了所有字段、存儲類型和統(tǒng)計分布信息。 2. 節(jié)點設(shè)置 在“模擬生成”節(jié)點對話框的“數(shù)據(jù)”選項卡上可以執(zhí)行下列操作：查看、指定和編輯字段的統(tǒng)計分布信息；查看、指定和編輯字段之間的相關(guān)性；指定要模擬的迭代數(shù)和觀測值數(shù)?！澳M生成”節(jié)點可在三個視圖之間進(jìn)行切換：模擬字段、相關(guān)性和高級選項。
使用歷史數(shù)據(jù)產(chǎn)生的“模擬擬合”節(jié)點或更新“模擬生成”節(jié)點，在“模擬字段”視圖中可直接查看并編輯每個字段的統(tǒng)計分布信息。如果沒有歷史數(shù)據(jù)，可以通過選擇存儲類型、分布類型并輸入必需參數(shù)來定義字段并指定這些字段的分布。以這種方式生成的數(shù)據(jù)在對數(shù)據(jù)進(jìn)行實例化之前有關(guān)字段測量級別的信息是不可用的。 在“模擬字段”視圖下，可以增加和刪除字段、改變字段顯示的順序、為每個字段指定存儲類型、為每個字段指定統(tǒng)計分布以及為每個字段的統(tǒng)計分布指定參數(shù)值。 “模擬字段”表包含以下列： 字段：包含字段的名稱，可在單元格中輸入內(nèi)容來編輯字段名稱。 存儲器：該單元格包含存儲類型的下拉列表，可用的存儲類型為字符串、整數(shù)、實數(shù)、時間、日期和時間戳。存儲類型的選擇確定了“分布”列中可用的分布。如果存儲類型為日期時間，必須將分布參數(shù)指定為整數(shù)。例如，指定日期 1970 年 1 月 1 日，即為整數(shù) 0。 狀態(tài)：該列中的圖標(biāo)表示每個字段的擬合狀態(tài)。綠色圖標(biāo)表示字段設(shè)置為最接近的擬合分布。 鎖定：通過選中帶有鎖定圖標(biāo)列中的復(fù)選框來鎖定模擬字段，可以防止已鏈接的“模擬擬合”節(jié)點自動更新該字段。如果手動指定分布并希望確保在執(zhí)行已鏈接的“模擬擬合”節(jié)點時自動分布擬合而不會影響該分布，選中此列即可。 分布：此列中的單元格包含統(tǒng)計分布的下拉列表，存儲類型的選擇決定了指定字段在此列中可用的分布。如果無法為每個字段指定固定分布而又希望生成的數(shù)據(jù)中每個字段都是固定字段，則可以使用后跟“平衡”節(jié)點的“用戶輸入”節(jié)點。 參數(shù)：此列顯示與每個已擬合的分布關(guān)聯(lián)的分布參數(shù)。參數(shù)的多個值之間以逗號分隔，為參數(shù)指定多個值將為模擬生成多個迭代。要為參數(shù)指定值，在對應(yīng)相關(guān)字段行中單擊此列，然后從列表中選擇指定。打開“指定參數(shù)”子對話框即可進(jìn)行編輯。如果在“分布”列中選擇了“經(jīng)驗”分布，那么此列為禁用狀態(tài)。 最小值、最大值：對于某些分布，可以在此列中指定模擬數(shù)據(jù)的最小值和/或最大值。小于最小值以及大于最大值的模擬數(shù)據(jù)將被拒絕，即使這些數(shù)據(jù)對于指定分布有效。在對應(yīng)于相關(guān)字段行中單擊此列，然后從列表中選擇指定，打開“指定參數(shù)”子對話框即可進(jìn)行編輯。如果在“分布”列中選擇了“經(jīng)驗”分布，那么此列為禁用狀態(tài)。 對于“使用最接近的擬合”按鈕，只有在已使用歷史數(shù)據(jù)根據(jù)“模擬擬合”節(jié)點自動創(chuàng)建了“模擬生成”節(jié)點，并且在“模擬字段”表中選擇了單個行的情況下，才會啟用該按鈕。此按鈕用于將所選行中字段的信息替換為該字段的最佳擬合分布信息。如果對所選行中的信息進(jìn)行了編輯，那么單擊此按鈕會將信息重置為根據(jù)“模擬擬合”節(jié)點確定的最佳擬合分布。 “擬合詳細(xì)信息”按鈕，也是在根據(jù)“模擬擬合”節(jié)點自動創(chuàng)建了“模擬生成”節(jié)點的情況下才會啟用并打開“擬合詳細(xì)信息”子對話框。
預(yù)測模型的輸入字段通常具有相關(guān)性，例如，身高和體重。因此必須考慮模擬字段之間的相關(guān)性并確保模擬值保留這些相關(guān)性。如果使用歷史數(shù)據(jù)根據(jù)“模擬擬合”節(jié)點生成或更新了“模擬生成”節(jié)點，在“相關(guān)性”視圖中可查看并編輯字段之間的相關(guān)系數(shù)。沒有歷史數(shù)據(jù)也可以手動指定相關(guān)性。在生成數(shù)據(jù)之前，會自動檢查相關(guān)性矩陣以確保它為半正定矩陣，并且是否能因此進(jìn)行反置，同時可以選擇以矩陣格式或列表格式來顯示相關(guān)性。 相關(guān)性矩陣：用于顯示矩陣中字段對之間的相關(guān)性。字段名稱按字母順序列出，從矩陣的左上方向下列出。只能編輯對角線下方的單元格，該值大于等于-1 且小于等于+1。矩陣中僅包括連續(xù)字段和有序字段。 相關(guān)性列表：用于顯示表中字段對之間的相關(guān)性。 如果需要手動指定相關(guān)性，并阻止使用“模擬擬合”節(jié)點和歷史數(shù)據(jù)自動擬合分布時覆蓋這些相關(guān)性，可以選擇“在重新擬合時不重新計算相關(guān)性”。 將已擬合的多路列聯(lián)表用于具有分類分布的輸入：缺省情況下，所有具有分類分布的字段將包括在列聯(lián)表或多路列聯(lián)表中，具體取決于具有分類分布字段的數(shù)量。執(zhí)行“模擬擬合”節(jié)點時，將構(gòu)造列聯(lián)表（與相關(guān)性相似）。
此選項顯示用于指定要模擬的觀測值數(shù)以及任何迭代的命名方式的選項。 最大觀測值數(shù)：指定要生成的模擬數(shù)據(jù)的最大觀測值數(shù)以及關(guān)聯(lián)的目標(biāo)值。 迭代數(shù)：由系統(tǒng)自動計算，每次對分布參數(shù)指定多個值時，將自動創(chuàng)建迭代。 總行數(shù)：只有在迭代數(shù)大于 1 的情況下，才會啟用此選項，使用所顯示的公式自動計算此數(shù)字。 創(chuàng)建迭代字段：只有在迭代數(shù)大于 1 的情況下，才會啟用此選項。選擇此選項后，將啟用名稱字段。 名稱：只有在選中了創(chuàng)建迭代字段復(fù)選框，并且迭代數(shù)大于 1 的情況下，才會啟用此選項，可以通過在此文本字段中輸入內(nèi)容來編輯迭代字段的名稱。 隨機(jī)種子：設(shè)置隨機(jī)種子可以復(fù)制模擬。 復(fù)制結(jié)果：啟用生成按鈕和隨機(jī)種子字段。 隨機(jī)種子：只有在選中復(fù)制結(jié)果復(fù)選框的情況下，才會啟用此選項，可以在此字段中指定要用作隨機(jī)種子的整數(shù)，缺省值為 629111597。 生成：只有在選中復(fù)制結(jié)果復(fù)選框的情況下，才會啟用此選項。用于在隨機(jī)種子字段中創(chuàng)建介于 1 到 999999999 之間的偽隨機(jī)整數(shù)。 回頁首 模擬節(jié)點配置、評估實例說明及腳本實現(xiàn)模擬生成節(jié)點和擬合節(jié)點的的配置統(tǒng)計分布就是在 統(tǒng)計分組 的基礎(chǔ)上，把總體的所有單位按組歸排列，形成總體中各個單位在各組間的分布，是某個變量可以使用值的理論出現(xiàn)頻率。在“模擬擬合”節(jié)點中，會將一組理論統(tǒng)計分布與每個數(shù)據(jù)字段進(jìn)行比較。主題 分布 中描述了可用于擬合的分布，對理論分布的參數(shù)進(jìn)行了調(diào)整，能夠根據(jù)擬合度的度量實現(xiàn)與數(shù)據(jù)的最佳擬合；Anderson-Darling 或 Kolmogorov-Smirnov 標(biāo)準(zhǔn)，通過“模擬擬合”節(jié)點實現(xiàn)的分布擬合的結(jié)果顯示擬合了哪些分布、每個分布的最佳參數(shù)估算以及每個分布與數(shù)據(jù)的擬合度。分布擬合期間，還可以計算具有數(shù)字存儲類型的字段之間的相關(guān)性，以及具有分類分布的字段之間的偶然性。分布擬合的結(jié)果將用于創(chuàng)建“模擬生成”節(jié)點。 在分布與數(shù)據(jù)進(jìn)行擬合之前，會在前 1000 條記錄中查找缺失值。如果缺失值過多，則無法進(jìn)行分布擬合。分布擬合未排除用戶缺失值。如果數(shù)據(jù)包含用戶缺失值，并且希望從分布擬合中排除這些值，則應(yīng)該將這些值設(shè)置為系統(tǒng)缺失值。 擬合分布時，不會考慮字段的角色。角色為目標(biāo)字段的處理方式與角色為輸入、分區(qū)、分割、頻率和標(biāo)識等的字段相同。 分布擬合期間，會根據(jù)字段的存儲類型和測量級別以不同方式對這些字段進(jìn)行處理。表 1 描述了分布擬合期間的字段處理。 表 1. 根據(jù)字段的存儲類型和測量級別進(jìn)行的分布擬合
對于測量級別為有序的字段，其處理方式類似于連續(xù)字段，包含在“模擬生成”節(jié)點中的相關(guān)表內(nèi)。如果要將二項式分布、負(fù)二項式分布或泊松分布以外的分布擬合到有序字段，那么必須將字段的測量級別更改為連續(xù)。如果先前為有序字段的每個值定義了標(biāo)簽，并且隨后將測量級別更改為連續(xù)，那么這些標(biāo)簽將丟失。 在分布擬合到具有多個值的字段時，會以相同方式處理具有單個值的字段。具有存儲類型時間、日期或時間戳記的字段將作為數(shù)字進(jìn)行處理。 將分布擬合到分割字段：如果數(shù)據(jù)包含分割字段，并且希望對每個分割單獨(dú)執(zhí)行分布擬合，那么必須使用上游“重構(gòu)”節(jié)點來變換數(shù)據(jù)。使用“重構(gòu)”節(jié)點可以為分割字段的每個值生成一個新字段。隨后，可以將此重構(gòu)數(shù)據(jù)用于“模擬擬合”節(jié)點中的分布擬合。 以 drug1n 作為源數(shù)據(jù)進(jìn)行擬合，連接“模擬擬合”節(jié)點，設(shè)置如圖 1 所示。 圖 1.“模擬擬合”節(jié)點設(shè)置界面 
點擊“運(yùn)行”按鈕，“模擬擬合”節(jié)點會自動生成“模擬生成”節(jié)點。雙擊該節(jié)點打開屬性設(shè)置界面，如圖 2 所示。 圖 2. “模擬生成”節(jié)點設(shè)置界面 
可以選擇需要設(shè)置的字段進(jìn)行修改和設(shè)置。右側(cè)工具欄是對選擇字段進(jìn)行上下移動，添加以及克隆。例如選擇第一行“Age”字段，默認(rèn)的最佳擬合分布為均勻分布。在對應(yīng)于相關(guān)字段行中單擊參數(shù)列，然后從列表中選擇指定，打開“指定參數(shù)”子對話框進(jìn)行編輯。例如設(shè)置多個最小值，并以逗號作為間隔，預(yù)覽圖會顯示相應(yīng)的擬合曲線。如圖 3 所示。 圖 3.“指定參數(shù)”設(shè)置界面 
確定后返回“模擬生成”節(jié)點配置界面，“Age”字段的狀態(tài)會變?yōu)槭謩又付顟B(tài)。如果將分布 改為泊松分布，“最小值，最大值” 會高亮顯示，此時從列表中選擇指定，打開“指定參數(shù)”子對話框進(jìn)行編輯。例如設(shè)置最大最小值，如圖 4 所示。 圖 4. “指定參數(shù)”最大最小值設(shè)置界面 
點擊“模擬生成”配置界面右上角的按鈕“使用最接近擬合”可以恢復(fù)到初始擬合狀態(tài)。對于“擬合詳細(xì)信息” 按鈕，只有在已通過執(zhí)行“模擬擬合”節(jié)點來創(chuàng)建或更新“模擬生成”節(jié)點的情況下，“擬合詳細(xì)信息”對話框才可用。此對話框顯示所選字段的自動分布擬合結(jié)果。分布按擬合度進(jìn)行排序，最接近的擬合分布首先列出。您可以在此對話框中執(zhí)行下列任務(wù)：檢查擬合到歷史數(shù)據(jù)的分布、選擇其中一個已擬合的分布，如圖 5 所示。 圖 5. 擬合詳細(xì)信息界面 
處理方法（度量）：顯示所選字段的度量類型。此類型來自“模擬生成”節(jié)點對話框中的“模擬字段”表?？梢酝ㄟ^單擊箭頭并從下拉列表中選擇度量類型來更改此度量類型。提供了以下三個選項：連續(xù)、名義和有序。 分布：“分布”表顯示適合于此度量類型的所有分布。已擬合到歷史數(shù)據(jù)的分布將按擬合度從最佳到最差的順序進(jìn)行排序。擬合度由“模擬擬合”節(jié)點中選擇的擬合統(tǒng)計量確定。未擬合到歷史數(shù)據(jù)的分布按字母順序列示在表中已擬合的分布下方。 “分布”表包含以下列： 使用：所選單選按鈕指示當(dāng)前為字段選擇的分布。通過在“使用”列中選擇與所需分布對應(yīng)的單選按鈕，您可以覆蓋最接近的擬合分布。在“使用”列中選擇單選按鈕還將顯示所選字段的歷史數(shù)據(jù)直方圖（或條形圖）上疊加的分布圖。一次只能選擇一個分布。 分布：包含分布的名稱。 擬合統(tǒng)計量：包含針對分布計算的擬合統(tǒng)計量。 連續(xù)：包含 Anderson-Darling 檢驗和 Kolmogorov-Smirnoff 檢驗的結(jié)果，還將顯示與這些檢驗關(guān)聯(lián)的 p 值。最先顯示的是選擇作為“模擬擬合”節(jié)點中的擬合度標(biāo)準(zhǔn)的擬合統(tǒng)計量，它用于對分布進(jìn)行排序。Anderson-Darling 統(tǒng)計量顯示為 A=aval P=pval。Kolmogorov-Smirnoff 統(tǒng)計量顯示為 K=kval P=pval。如果無法計算某個統(tǒng)計量，那么將顯示一個點來代替數(shù)字。 名義和有序：包含卡方檢驗的結(jié)果，還將顯示與此檢驗關(guān)聯(lián)的 p 值。統(tǒng)計量顯示為 Chi-Sq=val P=pval。如果未擬合分布，那么將顯示未擬合。如果無法以數(shù)學(xué)方法擬合分布，那么將顯示無法擬合。注：對于經(jīng)驗分布，此單元格始終為空。 參數(shù)。包含與每個已擬合分布關(guān)聯(lián)的分布參數(shù)。這些參數(shù)顯示為 parameter_name = parameter_value，參數(shù)之間以單空格分隔。對于分類分布，參數(shù)名是類別，而參數(shù)值是關(guān)聯(lián)的概率。如果分布未擬合到歷史數(shù)據(jù)，那么此單元格為空，無法編輯此列。 對話框同時提供直方圖縮略圖（顯示所選字段的歷史數(shù)據(jù)直方圖上疊加的所選分布圖）和分布縮略圖（顯示所選分布的說明和圖示）。 配置完成后，選擇表格節(jié)點連接“模擬生成”節(jié)點，如圖 6 所示，表格節(jié)點即可生成所有的擬合數(shù)據(jù)。 圖 6. 擬合詳細(xì)信息界面 
腳本實現(xiàn)方法由“模擬擬合”節(jié)點生成“模擬生成”節(jié)點腳本配置： create simfit rename :simfit as 'simfitnode' connect Type to simfitnode set simfitnode.bins=150 set simfitnode.good_fit_type=AnderDarling execute simfitnode create tablenode at 450 100 connect simgen to Table execute :tablenode 由“模擬生成”節(jié)點生成自定義數(shù)據(jù)腳本配置： create simgen at 100 100
rename :simgen as 'simgennode'
set :simgennode.Fields = [{"Fields1" "Real" "False" {"Poisson" [{"mean" "25,36"}]} "1" "100"}
{"Age" "Integer" "False" {"Uniform" [{"min" "15"} {"max" "74"}]} "" ""} {"Na" "Real" "False"
{"Uniform" [{"min" "0.500169"} {"max" "0.896056"}]} "" ""} {"Sex" "String" "True"
{"Categorical" [{"F" "0.48"} {"M" "0.52"}]} "" ""} {"Drug" "String" "False"
{"Categorical" [{"drugA" "0.115"} {"drugB" "0.08"} {"drugC" "0.08"}
{"drugX" "0.27"} {"drugY" "0.455"}]} "" ""}]
set :simgennode.Correlations =[{"Age" "Na" "0.011"} {"Age" "Fields1" "0.022"}
{"Na" "Fields1" "0.034"}]
set simgennode.max_cases = 20000
set simgennode.create_iteration_field = True
set simgennode.iteration_field_name = "NewI"
set simgennode.replicate_results = True
set simgennode.random_seed = 7817639
create tablenode at 300 100
connect simgennode to Table
execute :tablenode
回頁首 結(jié)束語預(yù)測模型需要一組已知輸入來預(yù)測結(jié)果或目標(biāo)值，然而，在許多實際應(yīng)用中，輸入值通常是不確定的。蒙特卡洛模擬算法采用概率分布來對不確定輸入進(jìn)行建模，并從這些分布抽取生成其輸入的模擬值。值已知的輸入保持固定為已知值。采用每個不確定輸入的模擬值和已知輸入的固定值來評估預(yù)測模型，以計算模型目標(biāo)。蒙特卡洛模擬算法在 IBM SPSS Modeler 中的引入，使得用戶可利用新的“模擬源”節(jié)點，并為其提供了一種使用大量統(tǒng)計分布從頭開始生成綜合數(shù)據(jù)的簡便方法。 |
|
|
來自： imelee > 《統(tǒng)計》
