機器學習模型：緩解偏差

萬皇之皇 2019-08-13

展開全文

在這篇文章中，你將了解在機器學習模型開發(fā)生命周期（MDLC）中應(yīng)用的一些緩解偏差的策略，以實現(xiàn)偏差感知機器學習模型，我們主要目標是實現(xiàn)更高精度的模型，同時確保模型與敏感/受保護屬性相比具有較小的判別性。簡單來說，分類器的輸出不應(yīng)與受保護或敏感屬性相關(guān)聯(lián)。構(gòu)建這樣的ML模型成為多目標優(yōu)化問題。分類器的質(zhì)量是通過其準確性和基于敏感屬性的偏差來衡量的; 更準確，更好，更少判別（基于敏感屬性）越好。以下是一些偏差緩解方法：

預(yù)處理算法
處理（中）算法
后處理算法

以下是表示機器學習模型的偏差緩解策略的圖表：

預(yù)處理算法

預(yù)處理算法用于減輕訓練數(shù)據(jù)中普遍存在的偏差。該想法是應(yīng)用以下技術(shù)之一來預(yù)處理訓練數(shù)據(jù)集，然后應(yīng)用分類算法來學習適當?shù)姆诸惼鳌?/span>

Reweighing: 重新加權(quán)是一種數(shù)據(jù)預(yù)處理技術(shù)，建議為每個（組，標簽）組合中的訓練樣例生成權(quán)重，以確保分類前的公平性。我們的想法是將適當?shù)臋?quán)重應(yīng)用于訓練數(shù)據(jù)集中的不同元組，以使訓練數(shù)據(jù)集在敏感屬性方面免于區(qū)分。除了重新稱重之外，還可以應(yīng)用技術(shù)（非偏差約束），例如抑制（移除敏感屬性）或按數(shù)據(jù)集 - 修改標簽（適當?shù)馗臉撕炓韵龑τ柧殧?shù)據(jù)的偏差）。

Optimized preprocessing: 我們的想法是學習概率轉(zhuǎn)換，利用組公平性，個體失真和數(shù)據(jù)保真度約束和目標來編輯數(shù)據(jù)中的特征和標簽。

Learning fair representations:我們的想法是找到一個潛在的表示，它可以很好地編碼數(shù)據(jù)，同時模糊有關(guān)受保護屬性的信息。

Disparate impact remover:對特征值進行適當編輯，以提高組的公平性，同時保持組內(nèi)的排序。

處理（中）算法

Adversarial Debiasing：學習分類器模型以最大化預(yù)測準確性，同時降低對手從預(yù)測中確定受保護屬性的能力。這種方法導(dǎo)致公平的分類器，因為預(yù)測不能攜帶對象可以利用偏差信息。

Prejudice remover: 這個想法是為學習目標增加一個偏差意識的正規(guī)化術(shù)語。

后處理算法

Equalized odds postprocessing: 該算法解決線性程序以找到改變輸出標簽以優(yōu)化均衡概率。

Calibrated equalized odds postprocessing:算法優(yōu)化校準的分類器得分輸出，以找到用均衡的目標改變輸出標簽的概率。

Reject option classification:這個想法是給予無特權(quán)群體有利的結(jié)果，并對具有最高不確定性的決策邊界周圍的置信區(qū)內(nèi)的特權(quán)群體產(chǎn)生不利結(jié)果。

結(jié)語

在這篇文章中，使你了解了偏差緩解策略，以構(gòu)建性能更高的模型，同時確保模型具有較小的判別性。本文中介紹的技術(shù)將根據(jù)正在進行的研究定期更新。

參考

AI Fairness 360：
https://link./content/pdf/10.1007%2Fs10115-011-0463-8.pdf
Data pre-processing techniques for classification without discrimination：https:///pdf/1810.01943.pdf