自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）如今已經(jīng)成為一個(gè)相當(dāng)有趣且重要的話題。本文將對(duì)AutoML做一個(gè)簡(jiǎn)要的解釋，論證它的合理性和可用性，介紹幾個(gè)關(guān)于AutoML的現(xiàn)代工具，并討論AutoML的未來和方向。

什么是自動(dòng)化機(jī)器學(xué)習(xí)？

自動(dòng)化機(jī)器學(xué)習(xí)并不是自動(dòng)化數(shù)據(jù)科學(xué)。雖然兩者存在重疊，但是機(jī)器學(xué)習(xí)只是數(shù)據(jù)科學(xué)工具包中眾多工具之一，它的使用實(shí)際上并沒有考慮到所有數(shù)據(jù)科學(xué)任務(wù)。例如，如果預(yù)測(cè)是數(shù)據(jù)科學(xué)任務(wù)的一部分，那么機(jī)器學(xué)習(xí)將是一個(gè)有用的組件；但是，機(jī)器學(xué)習(xí)可能根本不適用于描述性分析任務(wù)。

即使對(duì)于預(yù)測(cè)性任務(wù)，數(shù)據(jù)科學(xué)也比實(shí)際的預(yù)測(cè)性建模包含更多的內(nèi)容。數(shù)據(jù)科學(xué)家Sandro Saita在討論AutoML和自動(dòng)化數(shù)據(jù)科學(xué)之間的潛在混淆時(shí)，曾說過：

此外，數(shù)據(jù)科學(xué)家和自動(dòng)化機(jī)器學(xué)習(xí)的領(lǐng)先擁護(hù)者Randy Olson指出，有效的機(jī)器學(xué)習(xí)設(shè)計(jì)要求我們：

· 不斷地調(diào)整模型的超參數(shù)

· 不斷地嘗試多種模型

· 不斷地為數(shù)據(jù)探索特征表示法

考慮到以上所有因素，如果我們把AutoML看作是算法選擇、超參數(shù)調(diào)整、迭代建模和模型評(píng)估的任務(wù)，我們就可以定義AutoML是什么，但不會(huì)有完全一致的意見，不過，這足以讓我們順利地開始進(jìn)行下一步工作了。

為什么需要它？

雖然我們已經(jīng)完成了定義概念的工作，但AutoML有什么作用呢？讓我們來看看為什么機(jī)器學(xué)習(xí)很困難。

人工智能研究員和斯坦福大學(xué)在讀博士S.ZaydEnam在一篇題為“為什么機(jī)器學(xué)習(xí)很難”的博客文章中寫道：

注意，雖然Enam主要指的是機(jī)器學(xué)習(xí)研究，但也涉及到用例中現(xiàn)有算法的實(shí)現(xiàn)。

然后，Enam從算法研究的角度對(duì)這個(gè)框架問題進(jìn)行了詳細(xì)的闡述。如果一個(gè)算法不起作用，或者做得不夠好，并且選擇和重新編譯的過程是迭代的，這就可以使用自動(dòng)化，因此可以使用自動(dòng)化機(jī)器學(xué)習(xí)。

之前曾有人試圖捕捉AutoML的本質(zhì)，如下所示：

AutoML的基本原理源于這樣一個(gè)想法：如果必須使用各種算法和許多不同的超參數(shù)配置來構(gòu)建機(jī)器學(xué)習(xí)模型，那么這個(gè)模型構(gòu)建可以自動(dòng)化，模型性能和精度的比較也可以自動(dòng)化。

很簡(jiǎn)單，對(duì)吧？

比較不同的自動(dòng)化機(jī)器學(xué)習(xí)工具

既然我們了解了什么是AutoML，以及它的作用，我們?nèi)绾螌?shí)現(xiàn)呢？下面是一些當(dāng)代Python AutoML工具的概述和比較，這些工具采用不同的方法，試圖實(shí)現(xiàn)與機(jī)器學(xué)習(xí)過程自動(dòng)化相同的目標(biāo)。

Auto-sklearn

Auto sklearn是“一個(gè)自動(dòng)化機(jī)器學(xué)習(xí)工具包和一個(gè)scikit-learn評(píng)估工具的替代品”，它也恰好是kdruggets最近的自動(dòng)化數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)博客競(jìng)賽的贏家。

auto-sklearn使機(jī)器學(xué)習(xí)用戶從算法選擇和超參數(shù)調(diào)整中解放出來。它利用了貝葉斯優(yōu)化、元學(xué)習(xí)和集成構(gòu)造的最新優(yōu)勢(shì)。

正如上述，auto-sklearn通過貝葉斯優(yōu)化來執(zhí)行超參數(shù)優(yōu)化，然后重復(fù)以下步驟：

· 建立概率模型，以捕捉超參數(shù)設(shè)置與其性能之間的關(guān)系。

· 使用該模型選擇有用的超參數(shù)設(shè)置，然后通過權(quán)衡勘探（在模型不確定的部分空間中搜索）和開發(fā)（聚焦于預(yù)計(jì)性能良好的部分空間）來嘗試下一步。

· 使用這些超參數(shù)設(shè)置運(yùn)行機(jī)器學(xué)習(xí)算法。

對(duì)該過程的進(jìn)一步解釋如下：

這一過程可以概括為聯(lián)合選擇算法、預(yù)處理方法及其超參數(shù)：分類器/回歸器和預(yù)處理方法的選擇是頂級(jí)的、分類的超參數(shù)，并且根據(jù)它們的設(shè)置，所選方法的超參數(shù)變靈活。然后，可以使用處理這種高維條件空間的貝葉斯優(yōu)化方法搜索組合空間；使用基于隨機(jī)森林的SMAC，這已被證明對(duì)這種情況最有效。

就實(shí)用性而言，由于Auto-sklearn是scikit-learn估算器的替代品，因此需要使用scikit learn的功能性安裝。Auto-sklearn還支持通過共享文件系統(tǒng)上的數(shù)據(jù)共享來并行執(zhí)行，并且可以利用Scikit-Learn的模型持久性。根據(jù)作者的觀點(diǎn)，有效地使用Auto-sklearn替換估計(jì)量需要以下4行代碼，以便獲得機(jī)器學(xué)習(xí)pipeline：

import autosklearn.classification

cls = autosklearn.classification.AutoSklearnClassifier()

cls.fit(X_train, y_train)

y_hat = cls.predict(X_test)

使用mnist數(shù)據(jù)集的auto sklearn的更穩(wěn)定示例如下：

import autosklearn.classificationimport sklearn.cross_validationimport sklearn.datasetsimport sklearn.metrics

digits = sklearn.datasets.load_digits()

X = digits.data

y = digits.target

X_train, X_test, y_train, y_test = sklearn.cross_validation.train_test_split(X, y, random_state=1)

automl = autosklearn.classification.AutoSklearnClassifier()

automl.fit(X_train, y_train)

y_hat = automl.predict(X_test)

print('Accuracy score', sklearn.metrics.accuracy_score(y_test, y_hat))

另外值得注意的是，Auto Sklearn贏得了Chalearn AutoML挑戰(zhàn)賽的Auto和Tweakaton賽道。Auto-sklearn可在其官方Github存儲(chǔ)庫（https://github.com/automl/auto-sklearn）中獲得。

TPOT

TPOT被“推銷”為“你的數(shù)據(jù)科學(xué)助手”（請(qǐng)注意，它不是“你的數(shù)據(jù)科學(xué)替代品”）。它是一個(gè)python工具，“使用基因編程自動(dòng)創(chuàng)建和優(yōu)化機(jī)器學(xué)習(xí)pipeline”。TPOT和auto-sklearn一樣，與scikit-learn一起工作，將自己描述為scikit-learn包裝器。

正如本文前面所提到的，2個(gè)突出顯示的項(xiàng)目使用不同的方法來實(shí)現(xiàn)類似的目標(biāo)。雖然這兩個(gè)項(xiàng)目都是開源的，用python編寫，旨在通過AutoML簡(jiǎn)化機(jī)器學(xué)習(xí)過程，但與使用貝葉斯優(yōu)化的auto-sklearn相比，TPOT的方法是基于遺傳編程的。

然而，雖然方法不同，但結(jié)果是相同的：自動(dòng)超參數(shù)選擇，用各種算法建模，以及探索許多特征表示，都會(huì)實(shí)現(xiàn)迭代模型構(gòu)建和模型評(píng)估。

TPOT的一個(gè)好處是，它以scikit學(xué)習(xí)pipeline的形式，為性能最佳的模型生成可運(yùn)行的獨(dú)立python代碼。然后，可以修改或檢查該代碼，以獲得更多的洞察力，從而有效地充當(dāng)起點(diǎn)，而不是僅僅作為最終產(chǎn)品。

TPOT在MNIST數(shù)據(jù)上運(yùn)行的示例如下：

from tpot import TPOTClassifierfrom sklearn.datasets import load_digitsfrom sklearn.model_selection import train_test_split

digits = load_digits()

X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, train_size=0.75, test_size=0.25)

tpot = TPOTClassifier(generations=5, population_size=20, verbosity=2)

tpot.fit(X_train, y_train)

print(tpot.score(X_test, y_test))

tpot.export('tpot-mnist-pipeline.py')

本次運(yùn)行的結(jié)果是一條達(dá)到98%測(cè)試精度的pipeline，同時(shí)將所述pipeline的python代碼導(dǎo)出到tpot-mnist-pipeline.py文件，如下所示：

import numpy as np

from sklearn.model_selection import train_test_splitfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.pipeline import make_pipeline

# NOTE: Make sure that the class is labeled 'class' in the data file

tpot_data = np.recfromcsv('PATH/TO/DATA/FILE', delimiter='COLUMN_SEPARATOR')

features = tpot_data.view((np.float64, len(tpot_data.dtype.names)))

features = np.delete(features, tpot_data.dtype.names.index('class'), axis=1)

training_features, testing_features, training_classes, testing_classes = train_test_split(features, tpot_data['class'], random_state=42)

exported_pipeline = make_pipeline(

KNeighborsClassifier(n_neighbors=3, weights='uniform'))

exported_pipeline.fit(training_features, training_classes)

results = exported_pipeline.predict(testing_features)

TPOT可以通過其官方Github報(bào)告獲得。

當(dāng)然，以上不是唯一可用的AutoML工具。還有Hyperopt（Hyperopt- sklearn）、Auto-WEKA和Spearmint。可以預(yù)計(jì)的是，在接下來的幾年里，會(huì)有許多其他的項(xiàng)目產(chǎn)生，包括研究和專于工業(yè)的項(xiàng)目。

自動(dòng)化機(jī)器學(xué)習(xí)的未來

AutoML從此去向何方？

自動(dòng)化機(jī)器學(xué)習(xí)就其本身而言將會(huì)漸漸地變得十分重要。對(duì)局外人來說，自動(dòng)化機(jī)器學(xué)習(xí)可能不像深度神經(jīng)網(wǎng)絡(luò)那么性感，它將開始在ML、AI和數(shù)據(jù)科學(xué)領(lǐng)域產(chǎn)生深遠(yuǎn)的影響。

Randy Olson在最近的一次采訪中詳細(xì)地提到了以下幾點(diǎn)：

但是AutoML能否取代數(shù)據(jù)庫科學(xué)家？Randy繼續(xù)說到：

他的觀點(diǎn)得到了Auto-sklearn開發(fā)者的認(rèn)同：

所以這聽起來很令人鼓舞：數(shù)據(jù)科學(xué)家不會(huì)被取代，且AutoML可以幫助完成工作。這并不是說AutoML已經(jīng)完善了。當(dāng)被問及是否可以做出任何改進(jìn)時(shí)，Auto-sklearn小組說：

AutoML的未來究竟是什么？很難確定。然而，毫無疑問，它正在走向某個(gè)地方，而且速度可能很快。雖然自動(dòng)化機(jī)器學(xué)習(xí)的概念可能不是所有數(shù)據(jù)科學(xué)家目前都熟悉，但現(xiàn)在似乎是深入了解的好時(shí)機(jī)。畢竟，如果你能更早就開始了解AutoML的好處，并在技術(shù)浪潮中乘風(fēng)破浪，你不僅要在不確定的未來努力確保你的工作，你還要學(xué)習(xí)如何利用同樣的技術(shù)來幫助你現(xiàn)在更好地完成工作。