遷移學習

“你永遠不能理解一種語言——除非你至少理解兩種語言”。

任何一個學過第二語言的人，對英國作家杰弗里·威廉斯的這句話應該都會“感同身受”。但為什么這樣說呢？其原因在于學習使用外語的過程會不可避免地加深一個人對其母語的理解。事實上，歌德也發(fā)現(xiàn)這一理念的強大威力，以至于他不由自主地做出了一個與之類似但更為極端的斷言：

“一個不會外語的人對其母語也一無所知”。

這種說法極為有趣，但令人驚訝的是恐怕更在于其實質(zhì)——對某一項技能或心理機能的學習和精進能夠?qū)ζ渌寄芑蛐睦頇C能產(chǎn)生積極影響——這種效應即為遷移學習。它不僅存在于人類智能，對機器智能同樣如此。如今，遷移學習已成為機器學習的基礎研究領域之一，且具有廣泛的實際應用潛力。

今天的機器學習領域主要圍繞著能力可隨數(shù)據(jù)及經(jīng)驗的積累而提高的算法，且已取得驚人進步，并由此催生出可比肩甚至超越人類智能的計算系統(tǒng)，例如具有理解、處理及翻譯語言能力的系統(tǒng)。近年來，機器學習研究多聚焦在深層神經(jīng)網(wǎng)絡（DNN）——一種通過從大量數(shù)據(jù)中推斷異常復雜模式而進行學習的算法概念。例如，向一臺基于DNN的機器輸入數(shù)千個英文錄音片段及其對應文本，機器便可從錄音與文字的關聯(lián)中推斷出相關模式。伴隨著關聯(lián)模式的逐漸精確，系統(tǒng)最終將能“理解”英語語音。事實上，今天的DNN已經(jīng)相當成熟，一臺功能強大的計算機在學習充分訓練示例后，完全可以對真人對話進行文字速記，并達到比專業(yè)速記員更高的準確率。

一些人也許會很驚訝，計算機化的學習系統(tǒng)展現(xiàn)出遷移學習的能力。我們可以通過一項涉及兩套機器學習系統(tǒng)的實驗來思考這個問題，為了簡單起見，我們將它們稱為機器A和機器B。機器A使用全新的DNN，機器B則使用已經(jīng)接受訓練并能理解英語的DNN。現(xiàn)在，假設我們用一組完全相同的普通話錄音及對應文本來對機器A和B進行訓練，大家覺得結果會怎樣？令人稱奇的是，機器B（曾接受英語訓練的機器）展現(xiàn)出比機器A更好的普通話技能，因為它之前接受的英語訓練將相關能力遷移到了普通話理解任務中。

原文鏈接：

https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649440197&idx=1&sn=73beb7c54e815667cce5bc80a8939270&chksm=82c0d641b5b75f577739a202606a3c983068d0981044531ace90861bd8f5ec6bf822447e0bb4&mpshare=1&scene=1&srcid=01216BYgnUKOx4VrDBRojhBh&pass_ticket=OZ%2F7r6%2BcIwxJttcM53UsiwprDHpcwk2%2Fy2oQ%2F8mfky0%3D#rd