感知機(jī)搞不定邏輯XOR？Science新研究表示人腦單個神經(jīng)元就能做到

kantuoga 2020-01-04

展開全文

參與：思源、張倩

長期以來，人們一直認(rèn)為，要讓神經(jīng)網(wǎng)絡(luò)解決「異或」問題就必須構(gòu)造多層感知機(jī)，單個神經(jīng)元是做不到的，這一認(rèn)知使得神經(jīng)網(wǎng)絡(luò)的研究第一次進(jìn)入寒冬。但最近的一項(xiàng) Science 研究發(fā)現(xiàn)，人類大腦中的單個神經(jīng)元就能解決異或問題，這一發(fā)現(xiàn)推翻了人們之前對于生物神經(jīng)元計(jì)算方式的認(rèn)知。

人腦這種高效計(jì)算方式，也許能為人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)提供新的啟發(fā)。目前，該研究已經(jīng)登上《Science》。

論文地址：https://science./content/367/6473/83

這項(xiàng)研究由德國柏林洪堡大學(xué)等機(jī)構(gòu)的研究者共同開展，他們在體外研究了人類大腦皮層第 2 層和第 3 層（L2/3）錐體神經(jīng)元的樹突。在這些神經(jīng)元中，他們發(fā)現(xiàn)了一種新的動作電位，其波形和對神經(jīng)元輸出的影響是之前從未見到過的。

那這種動作電位有什么意義？長期以來，在生物神經(jīng)元中發(fā)現(xiàn)的動作電位使得人們認(rèn)為，神經(jīng)元只能用于計(jì)算與、或、非等簡單的邏輯線性可分問題，而「異或」等非線性可分問題則需要多個神經(jīng)元組成的網(wǎng)絡(luò)來解決。但這種動作電位的發(fā)現(xiàn)表明，單個人類神經(jīng)元的樹突就能夠?qū)€性不可分的輸入進(jìn)行分類，也就是說，單個神經(jīng)元也能進(jìn)行異或運(yùn)算，而不是像之前人們所認(rèn)為的需要多層神經(jīng)網(wǎng)絡(luò)。

這篇論文發(fā)出后引發(fā)了廣泛的關(guān)注。紐約大學(xué)心理學(xué)和神經(jīng)科學(xué)教授 Gary marcus 評論道，「這是一項(xiàng)重大研究，而且可能只是冰山一角；單個神經(jīng)元的能力可能超出我們的想象。即使像這樣一個人類特有的神經(jīng)元新機(jī)制都非常具有啟發(fā)性。它可能會重塑我們對于『神經(jīng)啟發(fā)』網(wǎng)絡(luò)的觀點(diǎn)?！?/section>

感知機(jī)與異或問題

什么是異或問題

或（or）、與（and）、非（not）三門構(gòu)建了最基本的邏輯運(yùn)算，而異或問題（XOR）在機(jī)器學(xué)習(xí)的歷史中起到了重要作用。

相信很多讀者都忘不了最開始學(xué)習(xí)感知機(jī)所遇到的異或問題，想要解決它，最簡單的方法就是加深感知機(jī)層數(shù)。那么簡單而言，異或問題指的是，如果輸入的兩個值不相同，則異或結(jié)果為真（True，即 1），反之為假（False，即 0）。

不同邏輯運(yùn)算的輸入與輸出，其中 0 表示 False、1 表示 True。例如異或問題（XOR），只有在 x 和 y 一個為 True 一個為 False，它的輸出才會為 True。

這樣看起來，XOR 似乎與其它邏輯運(yùn)算沒有什么區(qū)別？那么為什么感知機(jī)能解決或、與、非，就是處理不了異或？

初生的感知機(jī)

在最初的時候，我們發(fā)現(xiàn)生物神經(jīng)元都是彼此連接在一起的，當(dāng)其它神經(jīng)元向當(dāng)前神經(jīng)元傳遞化學(xué)物質(zhì)，它的電位就會發(fā)生變化，直到達(dá)到閾值就會變得「興奮」，并開始向周圍神經(jīng)元傳遞化學(xué)物質(zhì)。1943 年，McCulloch 與 Pitts 等研究者將這種生物過程抽象出來，構(gòu)建出了現(xiàn)在最常用的「M-P 神經(jīng)元模型」。

我們非常熟悉的「M-P 神經(jīng)元模型」。

當(dāng)由多個神經(jīng)元組成的感知機(jī)提出以后，研究者們都非常興奮，認(rèn)為它是一種模擬智能的良好基礎(chǔ)。三個最基本的邏輯運(yùn)算或、與、非都能通過調(diào)整權(quán)重 W 得到解決，這也側(cè)面證明其基礎(chǔ)擬合能力的優(yōu)勢。

1969 年 Minsky 等研究者證明，如果兩種模式是線性可分的，即存在一個線性超平面將兩個類別區(qū)分開，那么單層感知機(jī)的學(xué)習(xí)過程一定是可以收斂的。

但問題在于 XOR 這樣簡單的非線性可分問題，單層感知機(jī)是解決不了的?；貞浺幌虑懊孢壿嬤\(yùn)算表的內(nèi)容，當(dāng)輸入 x_1 與輸入 x_2 是不同邏輯運(yùn)算符，輸出為 True。如果 x_1 與 x_2 分別是橫軸與豎軸，那么就可以表述為正方形的四個頂點(diǎn)，相對的頂點(diǎn)是相同的類別（True 或 False）。

這樣的分類我們找不到一條直線切分開，因此感知機(jī)也就解決不了了。當(dāng)時研究者認(rèn)為，這個問題可以通過加深感知機(jī)，構(gòu)建多層感知機(jī)來解決。

能解決異或問題的兩層感知機(jī)，選自《機(jī)器學(xué)習(xí)》，周志華。

這種單層神經(jīng)元不能解決異或問題，需要多層才能解決的觀念一直根植于機(jī)器學(xué)習(xí)研究者的腦海中。目前深度神經(jīng)網(wǎng)路很多都將「M-P 神經(jīng)元模型」作為基礎(chǔ)，它的能力直接影響整個網(wǎng)絡(luò)的表達(dá)能力。如果說底層神經(jīng)元能得到生物神經(jīng)元的啟發(fā)，那么是不是能構(gòu)建更強(qiáng)的模型？

這是能解決異或問題的神經(jīng)元

這篇 Science 論文表示，他們在人類大腦中發(fā)現(xiàn)了一種樹突動作電位（dCaAPs），它的動作電位比較奇特，能依靠神經(jīng)元樹突處理簡單的線性不可分問題。這是之前認(rèn)為單個生物神經(jīng)元不能解決的問題，也是人工神經(jīng)元不能解決的問題。

研究者表示，人類在進(jìn)化中會導(dǎo)致大腦皮層的加厚，并且加厚最多的是第二層與第三層（L2/3）。因此 L2/3 的皮質(zhì)神經(jīng)元構(gòu)成了大型且精致的樹突樹，這些樹突的性質(zhì)在很大程度上決定了輸入到輸出動作電位（APs）的轉(zhuǎn)換。因此，它們構(gòu)成了神經(jīng)元計(jì)算能力的關(guān)鍵要素。

通過一系列復(fù)雜且看不懂的實(shí)驗(yàn)（感興趣的讀者可查閱 Science 原論文），研究者們發(fā)現(xiàn)人類皮層錐體神經(jīng)元中的 L2 / 3 樹突比嚙齒動物中的同系樹突更容易被激發(fā)，在嚙齒類動物中，類似的穩(wěn)定電流最多只在電壓響應(yīng)開始時產(chǎn)生單個樹突動作電位。研究者們將這一「奇特」的樹突稱為 Ca2 AP（dCaAP）。

dCaAP 的波形是定型的，很容易與 bAP 的波形區(qū)分開。dCaAP 通常比 bAP 寬，它們緩慢上升，并且在激發(fā)時沒有突變。如下圖 ii 所示，相比體細(xì)胞動作電位（黑色），dCaAP 激發(fā)地更加緩慢。

L2/3 神經(jīng)元人類樹突中的 bAP 和 dCaAP。

研究者在一系列圖示中展示了 dCaAPs 的各種屬性，包括 dCaAP 的振幅及其上沖程（upstroke）與離體細(xì)胞的距離無關(guān)等等。如果讀者了解生物的話，也可以看看如下論文圖 1：

不管怎么說，這種神經(jīng)元是能夠解決異或問題的，在研究者的實(shí)驗(yàn)中，dCaAP 影響了細(xì)胞的輸入輸出轉(zhuǎn)換。通常，體細(xì)胞產(chǎn)生動作電位會隨著輸入電流強(qiáng)度的增加而增加，但研究者紀(jì)錄的 dCaAP 正好相反，增加樹突狀（而非體細(xì)胞）電流注入的強(qiáng)度導(dǎo)致體細(xì)胞放電減少。

例如，在圖 2 中的 A 和 B，樹突狀電極在電流接近閾值的情況下誘發(fā)了一個或兩個體細(xì)胞 AP，但未能激發(fā)更高電流強(qiáng)度的 AP。相反，在相同細(xì)胞的體細(xì)胞中，AP 輸出隨輸入強(qiáng)度的增加而增加（圖 2C）。這些結(jié)果可以通過 dCaAP 的異?；钚詠斫忉?，樹突狀電極誘發(fā)的 dCaAP 觸發(fā)了閾值附近的體細(xì)胞 AP，但被刺激強(qiáng)度的進(jìn)一步增加所抑制（圖 2B）。

研究者在 NEURON 仿真環(huán)境中，對 L2 / 3 錐體神經(jīng)元形態(tài)進(jìn)行了數(shù)字重建和建模（圖 3A）。為了模擬兩種不同的輸入類型，即 X 和 Y，研究者為每個輸入（或 Pathway）使用了 25 個興奮性突觸（圖 3A），目標(biāo)是頂樹突的一個子區(qū)域（圖 3A 中的藍(lán)色和紅色點(diǎn)）。這些輸入中的每一個都能夠獨(dú)自觸發(fā) dCaAP（圖 3 B 和 C）。研究者的模擬實(shí)驗(yàn)表明，激發(fā)和抑制之間的精確平衡對于 dCaAP 的產(chǎn)生至關(guān)重要。

此外，在模擬仿真環(huán)境中，研究者發(fā)現(xiàn)，dCaAP 的激活功能使它們能夠通過在輸入高于最佳強(qiáng)度時抑制 dCaAP 的幅度來有效地計(jì)算 XOR 運(yùn)算。這個發(fā)現(xiàn)打破了長期以來，我們認(rèn)為樹突輸入與軸突輸出只能實(shí)現(xiàn) AND 與 OR 這樣的簡單邏輯運(yùn)算的固有認(rèn)知。

因此研究者設(shè)計(jì)了一個模型，它將 L2 / 3 神經(jīng)元的體細(xì)胞和樹突描繪為具有耦合邏輯算子，以及相應(yīng)激活函數(shù)的網(wǎng)絡(luò)（圖 3，F(xiàn) 與 G）。在該模型中，研究者對具有 dCaAP 的樹突進(jìn)行 XOR 運(yùn)算，而對其它常規(guī)樹突執(zhí)行 AND / OR 運(yùn)算。這樣的模型提供了構(gòu)建「人腦功能算法」的生理基礎(chǔ)，這樣的功能算法最終會導(dǎo)致大腦皮層網(wǎng)絡(luò)的復(fù)雜行為。

如果生物神經(jīng)網(wǎng)絡(luò)會組合不同的基礎(chǔ)運(yùn)算單元，以提供更加高級和高效地邏輯處理，甚至有的單個神經(jīng)元就能完成 XOR 這樣簡單地非線性分類。那么這對機(jī)器學(xué)習(xí)，對深度神經(jīng)網(wǎng)絡(luò)又會有哪些影響，這可能是值得討論的問題。

對 ML 社區(qū)會產(chǎn)生什么影響？

這篇論文在 Reddit 的機(jī)器學(xué)習(xí)社區(qū)引發(fā)了熱烈討論，畢竟，人工神經(jīng)網(wǎng)絡(luò)本就是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)，生物神經(jīng)元研究的突破很有可能為人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)提供新的靈感。

有人認(rèn)為，這篇文章的精妙之處在于，它發(fā)現(xiàn)了人類神經(jīng)元與嚙齒類動物神經(jīng)元本質(zhì)上的區(qū)別，這種區(qū)別不只是算力上的，計(jì)算方法也截然不同。

當(dāng)然，也有人表示對研究結(jié)果并不驚訝。ta 認(rèn)為，生物神經(jīng)元與人類神經(jīng)元原本就存在本質(zhì)上的區(qū)別：生物神經(jīng)元以一定的時間間隔（動作電位）積累輸入脈沖，并以一定的頻率發(fā)射脈沖。這樣的機(jī)制可以容納更復(fù)雜的運(yùn)算。

對于該研究將對人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)產(chǎn)生何種影響，有人認(rèn)為，提供靈感是肯定的，但是二者無法相提并論。這項(xiàng)研究只能說明，人工神經(jīng)元只是由真實(shí)神經(jīng)元建模的一小部分功能。真實(shí)的神經(jīng)元要復(fù)雜得多，可能執(zhí)行比布爾運(yùn)算更復(fù)雜的計(jì)算。

持有這種理智看法的不在少數(shù)。一部分人認(rèn)為，提出能夠進(jìn)行異或運(yùn)算的激活函數(shù)并不難，但真正的難點(diǎn)在于如何構(gòu)建能夠使用這種激活函數(shù)，并在更大的人工神經(jīng)網(wǎng)絡(luò)中發(fā)揮作用的人工神經(jīng)元。

但也有人提出了反駁，認(rèn)為在生物神經(jīng)元中發(fā)現(xiàn)這種機(jī)制才是一個真正的轉(zhuǎn)折。

有關(guān)該研究的討論還在繼續(xù)。至于它能否變革人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)理念，我們還需拭目以待。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： kantuoga > 《哲學(xué)》

舉報(bào)/認(rèn)領(lǐng)