原創(chuàng) 集智俱樂(lè)部 集智俱樂(lè)部

Complexity Express 一周論文精選

以下是2022年11月14日-11月20日來(lái)自Complexity Express的復(fù)雜性科學(xué)論文精選。如果Complexity Express列表中有你感興趣的論文，歡迎點(diǎn)贊推薦，我們會(huì)優(yōu)先組織解讀~

目錄：

1. 處理子抽樣問(wèn)題從有限數(shù)據(jù)中推斷集體屬性

2. 閉式連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)

3. 基于圖注意神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)錯(cuò)義突變的功能影響

4. 默認(rèn)模式網(wǎng)絡(luò)中的內(nèi)在大腦動(dòng)力學(xué)預(yù)測(cè)視覺(jué)意識(shí)的無(wú)意識(shí)波動(dòng)

5. 基于二維注意的深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)蛋白質(zhì)復(fù)合物鏈間距離圖

6. 社會(huì)性昆蟲(chóng)空間分工的兩種簡(jiǎn)單運(yùn)動(dòng)機(jī)制

7. 利用機(jī)器學(xué)習(xí)評(píng)估電力供應(yīng)對(duì)生計(jì)的影響

1.處理子抽樣問(wèn)題

從有限數(shù)據(jù)中推斷集體屬性

論文題目：Tackling the subsampling problem to infer collective properties from limited data

論文來(lái)源：Nature Reviews Physics

論文鏈接：https://www./articles/s42254-022-00532-5

盡管大規(guī)模數(shù)據(jù)采集技術(shù)不斷發(fā)展，但復(fù)雜系統(tǒng)的實(shí)驗(yàn)觀(guān)測(cè)往往僅限于被研究系統(tǒng)的一小部分。這種空間子抽樣在神經(jīng)科學(xué)中尤為嚴(yán)重，在神經(jīng)科學(xué)中，只有數(shù)百萬(wàn)甚至數(shù)十億個(gè)神經(jīng)元中的一小部分可以被單獨(dú)記錄下來(lái)。當(dāng)從一個(gè)子抽樣部分推斷出整個(gè)系統(tǒng)的集體屬性時(shí)，空間子抽樣可能導(dǎo)致實(shí)質(zhì)性的系統(tǒng)偏差。為了消除這種偏差，人們開(kāi)發(fā)了強(qiáng)大的數(shù)學(xué)工具。從這個(gè)角度來(lái)看，作者概述了近年來(lái)為解決子抽樣問(wèn)題而開(kāi)發(fā)的子抽樣和審查方法所產(chǎn)生的一些問(wèn)題。這些方法使人們能夠正確地評(píng)估現(xiàn)象，如圖結(jié)構(gòu)、動(dòng)物的集體動(dòng)力學(xué)、神經(jīng)網(wǎng)絡(luò)活動(dòng)或疾病的傳播，只需要觀(guān)察系統(tǒng)的一小部分。然而，現(xiàn)有的方法總體上還遠(yuǎn)遠(yuǎn)沒(méi)有解決子抽樣問(wèn)題，作者也概述了他們認(rèn)為的主要開(kāi)放挑戰(zhàn)。隨著大規(guī)模數(shù)據(jù)記錄技術(shù)的發(fā)展，解決這些挑戰(zhàn)將使人們能夠?qū)?fù)雜和有生命的系統(tǒng)的工作機(jī)制有進(jìn)一步的基本認(rèn)識(shí)。

圖：不同類(lèi)別的子抽樣。上圖：空間嵌入網(wǎng)絡(luò)的典型結(jié)構(gòu)示意圖；下圖：從空間擴(kuò)展系統(tǒng)中采樣的不同方法，以無(wú)標(biāo)度網(wǎng)絡(luò)為例說(shuō)明。隨機(jī)抽樣的優(yōu)點(diǎn)是可以畫(huà)出一組具有代表性的節(jié)點(diǎn)。加窗抽樣提供了良好的局部分辨率，但樣本可能不能代表整個(gè)系統(tǒng)。滾雪球抽樣跟蹤選定節(jié)點(diǎn)的連接狀態(tài)，從而揭示該節(jié)點(diǎn)的連通性。

2.閉式連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)

論文題目：Closed-form continuous-time neural networks

論文來(lái)源：Nature Machine Intelligence

論文鏈接：https://www./articles/s42256-022-00556-7

連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)是一類(lèi)機(jī)器學(xué)習(xí)系統(tǒng)，可以解決時(shí)空決策任務(wù)的表示學(xué)習(xí)。這些模型通常由連續(xù)微分方程表示。然而，當(dāng)它們被部署在計(jì)算機(jī)上時(shí)，它們的表達(dá)能力受到數(shù)值微分方程求解器的瓶頸限制。這種限制明顯減緩了對(duì)許多自然物理現(xiàn)象（如神經(jīng)系統(tǒng)的動(dòng)力學(xué)）的擴(kuò)展和理解。理想情況下，我們可以通過(guò)求解閉合形式的給定動(dòng)力系統(tǒng)來(lái)規(guī)避這一瓶頸。眾所周知，這在一般情況下是難以實(shí)現(xiàn)的。

在這里，我們表明有可能近似地解決神經(jīng)元和突觸之間的相互作用——自然和人工神經(jīng)網(wǎng)絡(luò)的組成部分——由液態(tài)時(shí)間常數(shù)網(wǎng)絡(luò)（liquid time-constant networks）以閉合形式有效地構(gòu)建。為此，我們計(jì)算了液態(tài)時(shí)間常數(shù)動(dòng)力學(xué)中出現(xiàn)的一個(gè)積分的嚴(yán)格約束的近似解，該積分至今沒(méi)有已知的閉式解。這個(gè)閉式的解決方案影響了連續(xù)時(shí)間和連續(xù)深度神經(jīng)模型的設(shè)計(jì)。例如，由于時(shí)間明確地以閉式出現(xiàn)，該公式放松了對(duì)復(fù)雜數(shù)值求解器的需求。因此，與基于微分方程的模型相比，我們得到的模型在訓(xùn)練和推理方面要快1～5個(gè)數(shù)量級(jí)。更重要的是，與基于常微分方程的連續(xù)網(wǎng)絡(luò)相比，閉式網(wǎng)絡(luò)與其他深度學(xué)習(xí)實(shí)例相比，可以有顯著的擴(kuò)展。最后，由于這些模型來(lái)自于液體網(wǎng)絡(luò)，與先進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)模型相比，它們?cè)跁r(shí)間序列建模中表現(xiàn)出良好的性能。

圖：神經(jīng)和突觸動(dòng)力學(xué)。突觸后神經(jīng)元通過(guò)基于非線(xiàn)性電導(dǎo)的突觸模型接收刺激 I(t)。這里，S(t) 代表突觸電流。該突觸后神經(jīng)元的膜電位動(dòng)態(tài)由中間呈現(xiàn)的 DE 給出。這個(gè)方程式是 LTC 網(wǎng)絡(luò)的基本構(gòu)建塊，沒(méi)有已知的閉式表達(dá)式。在這里，我們?yōu)檫@個(gè)方程提供了一個(gè)近似解，它顯示了非線(xiàn)性突觸與閉式的突觸后神經(jīng)元的相互作用。

3.基于圖注意神經(jīng)網(wǎng)絡(luò)

預(yù)測(cè)錯(cuò)義突變的功能影響

論文題目：Predicting functional effect of missense variants using graph attention neural networks

論文來(lái)源：Nature Machine Intelligence

論文鏈接：https://www./articles/s42256-022-00561-w

準(zhǔn)確預(yù)測(cè)有害錯(cuò)義突變對(duì)于解釋基因組序列至關(guān)重要。雖然已經(jīng)開(kāi)發(fā)了許多方法，但是它們的性能有限。機(jī)器學(xué)習(xí)的最新進(jìn)展和大規(guī)模可用的群體基因組測(cè)序數(shù)據(jù)為大大改進(jìn)計(jì)算方法的預(yù)測(cè)提供了新的機(jī)會(huì)。本文提出了一種基于圖注意力神經(jīng)網(wǎng)絡(luò)的圖形錯(cuò)義變異致病性預(yù)測(cè)方法（gMVP）。它的主要組成部分是一個(gè)圖，其中的節(jié)點(diǎn)捕獲氨基酸的預(yù)測(cè)特征和由共進(jìn)化強(qiáng)度加權(quán)的邊，該圖能夠有效地匯集局部蛋白質(zhì)背景及功能相關(guān)的全局位置信息。

基于深度突變測(cè)序數(shù)據(jù)的評(píng)估表明，gMVP 在鑒定 TP53，PTEN，BRCA1 和 MSH2 的損傷變異方面優(yōu)于其他已發(fā)表的方法。此外，在神經(jīng)發(fā)育異常的情況下，它實(shí)現(xiàn)了從頭將病患和對(duì)照組的錯(cuò)義變體進(jìn)行最優(yōu)分離。最后，該模型支持遷移學(xué)習(xí)，以?xún)?yōu)化鈉和鈣通道中的功能上的功能喪失預(yù)測(cè)?？傊?，我們證明 gMVP 可以改善臨床試驗(yàn)和遺傳學(xué)研究中對(duì)錯(cuò)義變異的解釋。

圖：gMVP 概述。gMVP 使用圖表征蛋白結(jié)構(gòu)，其蛋白質(zhì)上下文定義為128個(gè)氨基酸側(cè)翼的參考氨基酸。感興趣的氨基酸是中心節(jié)點(diǎn)(橙色) ，側(cè)面的氨基酸是上下文節(jié)點(diǎn)(顏色為淺綠色)，所有上下文節(jié)點(diǎn)都與中心節(jié)點(diǎn)連接邊的特征是協(xié)同進(jìn)化強(qiáng)度，節(jié)點(diǎn)特征包括保守性和預(yù)測(cè)的結(jié)構(gòu)特性。此外，中心節(jié)點(diǎn)特征包括氨基酸替代; 上下文節(jié)點(diǎn)特征包括一級(jí)序列和在人群中預(yù)期和觀(guān)察到的罕見(jiàn)錯(cuò)義變體的數(shù)量。模型使用三個(gè)單層密集編碼的輸入特征潛在的向量表征，使用多頭注意力（mulri-head attention）層學(xué)習(xí)上下文向量，然后使用遞歸神經(jīng)層與 softmax 層連接。

4.默認(rèn)模式網(wǎng)絡(luò)中的內(nèi)在大腦動(dòng)力學(xué)

預(yù)測(cè)視覺(jué)意識(shí)的無(wú)意識(shí)波動(dòng)

論文題目：Intrinsic brain dynamics in the Default Mode Network predict involuntary fluctuations of visual awareness

論文來(lái)源：Nature Communications

論文鏈接：https://www./articles/s41467-022-34410-6

大腦活動(dòng)可被組織為內(nèi)生的時(shí)空模式，但是目前還不清楚這些內(nèi)在模式是功能性的還是偶發(fā)的。利用功能磁共振成像腦電同步檢測(cè)一個(gè)眾所周知的雙穩(wěn)態(tài)視覺(jué)任務(wù)，我們表明，潛在的瞬時(shí)狀態(tài)的內(nèi)在腦電振蕩可以預(yù)測(cè)即將到來(lái)的非自愿感知轉(zhuǎn)換。預(yù)測(cè)主導(dǎo)感知轉(zhuǎn)換的臨界狀態(tài)預(yù)測(cè)了楔前葉（precuneus PCU），默認(rèn)模式網(wǎng)絡(luò)（DMN）的關(guān)鍵節(jié)點(diǎn)和初級(jí)視覺(jué)皮層（V1）之間的相位耦合。這種狀態(tài)的生命周期與 PCU - > V1 格蘭杰因果之間的相互作用與感知波動(dòng)率相關(guān)。我們的研究表明，大腦的內(nèi)源性動(dòng)力學(xué)是現(xiàn)象學(xué)相關(guān)的，因?yàn)楫?dāng)外部刺激保持不變時(shí)，它們可以引發(fā)潛在的視覺(jué)處理方式之間的轉(zhuǎn)移。在這個(gè)意義上，內(nèi)生的默認(rèn)模式網(wǎng)絡(luò) DMN 動(dòng)力學(xué)預(yù)設(shè)了意識(shí)的內(nèi)容。

圖：功能核磁指出默認(rèn)神經(jīng)網(wǎng)絡(luò)在當(dāng)前任務(wù)中有參與

5.基于二維注意的深度神經(jīng)網(wǎng)絡(luò)

預(yù)測(cè)蛋白質(zhì)復(fù)合物鏈間距離圖

論文題目：Prediction of inter-chain distance maps of protein complexes with 2D attention-based deep neural networks

論文來(lái)源：Nature Communications

論文鏈接：https://www./articles/s41467-022-34600-2

殘基距離信息對(duì)于預(yù)測(cè)蛋白質(zhì)單體的三級(jí)結(jié)構(gòu)或蛋白質(zhì)復(fù)合物的四級(jí)結(jié)構(gòu)非常有用。許多深度學(xué)習(xí)方法已經(jīng)被開(kāi)發(fā)出來(lái)，可以準(zhǔn)確預(yù)測(cè)單體的鏈內(nèi)殘基-殘基距離（intra-chain residue-residue），但很少有方法可以準(zhǔn)確預(yù)測(cè)復(fù)合物的鏈間殘基-殘基距離。

我們開(kāi)發(fā)了一種基于二維注意動(dòng)力殘差網(wǎng)絡(luò)的深度學(xué)習(xí)方法 CDPred（即復(fù)合物距離預(yù)測(cè)）來(lái)解決這個(gè)問(wèn)題。在兩個(gè)同源二聚體數(shù)據(jù)集上測(cè)試，CDPred對(duì)前 L/5 鏈間接觸的預(yù)測(cè)精度分別達(dá)到 60.94% 和 42.93%（L：同源二聚體中單體的長(zhǎng)度），大大高于 DeepHomo 的 37.40% 和 23.08% 以及 GLINTER 的 48.09% 和 36.74%。在兩個(gè)異構(gòu)體數(shù)據(jù)集上測(cè)試，CDPred 的頂級(jí) Ls/5 鏈間接觸預(yù)測(cè)精度（Ls：異構(gòu)體中較短單體的長(zhǎng)度）分別為 47.59% 和22.87%，超過(guò)了 GLINTER 的 23.24% 和13.49%。此外，CDPred 的預(yù)測(cè)結(jié)果與 AlphaFold2-multimer 的預(yù)測(cè)結(jié)果具有互補(bǔ)性。

圖：HeteroTest2 數(shù)據(jù)集中異二聚體的前 L/10 接觸預(yù)測(cè)精度直方圖。X軸為從0到100%的四個(gè)精度區(qū)間。Y軸是接觸精度落在每個(gè)區(qū)間的異質(zhì)體的數(shù)量。每個(gè)區(qū)間分別有40、2、1和12個(gè)異質(zhì)體。

6.社會(huì)性昆蟲(chóng)空間分工的

兩種簡(jiǎn)單運(yùn)動(dòng)機(jī)制

論文題目：Two simple movement mechanisms for spatial division of labour in social insects

論文來(lái)源：Nature Communications

論文鏈接：https://www./articles/s41467-022-34706-7

許多動(dòng)物物種將空間劃分為成片的家域，但對(duì)于個(gè)體用來(lái)保持對(duì)特定地點(diǎn)的保真度的機(jī)制卻沒(méi)有什么共識(shí)。理論表明，動(dòng)物運(yùn)動(dòng)可能基于簡(jiǎn)單的行為規(guī)則，這些規(guī)則使用局部信息（例如嗅覺(jué)沉積）或全局策略（例如對(duì)地標(biāo)的長(zhǎng)期偏愛(ài)）。然而，實(shí)證研究很少試圖區(qū)分這些機(jī)制。

在這里，我們對(duì)四種社會(huì)性昆蟲(chóng)進(jìn)行了個(gè)體追蹤實(shí)驗(yàn)，發(fā)現(xiàn)棲息地由不同的工作群體組成，它們居住在獨(dú)立但部分重疊的空間區(qū)域。我們的軌跡分析和模擬表明，工作個(gè)體的運(yùn)動(dòng)與兩種局部機(jī)制相一致：一種是工作個(gè)體在其主要區(qū)域外增加運(yùn)動(dòng)擴(kuò)散性，另一種是工作個(gè)體在接近區(qū)域邊界時(shí)調(diào)節(jié)轉(zhuǎn)向行為。與其它生物相似，表明局部機(jī)制可能代表了動(dòng)物種群空間劃分的一種普遍方法。

圖：年齡、模塊分?jǐn)?shù)和任務(wù)之間的相關(guān)性驗(yàn)證了空間方法。（a, b）蜜蜂和螞蟻工作群體表現(xiàn)出類(lèi)似的模塊之間的過(guò)渡，作為年齡的函數(shù)。堆積的條形圖表示特定年齡個(gè)體的平均模塊得分情況。橫條表示每個(gè)年齡段個(gè)體的典型模塊得分情況。（c,d）屬于不同空間模塊的工人表現(xiàn)出不同的任務(wù)概況。散點(diǎn)圖表示應(yīng)用于工作人員任務(wù)配置文件的 LargeVis 降維結(jié)果。點(diǎn)代表不同的個(gè)體。點(diǎn)分離表示任務(wù)配置文件的相似性。模塊分?jǐn)?shù)未用于 LargeVis 分析或任務(wù)定義中。

7.利用機(jī)器學(xué)習(xí)

評(píng)估電力供應(yīng)對(duì)生計(jì)的影響

論文題目：Using machine learning to assess the livelihood impact of electricity access

論文來(lái)源：Nature

論文鏈接：https://www./articles/s41586-022-05322-8

在世界許多地區(qū)，關(guān)于關(guān)鍵經(jīng)濟(jì)成果的稀缺數(shù)據(jù)抑制了公共政策的制定、定位和評(píng)估。我們展示了衛(wèi)星圖像和機(jī)器學(xué)習(xí)（ML）的進(jìn)步如何幫助改善這些數(shù)據(jù)和推理的挑戰(zhàn)。在烏干達(dá)電網(wǎng)擴(kuò)張的背景下，我們展示了如何利用衛(wèi)星圖像和計(jì)算機(jī)視覺(jué)的組合，來(lái)開(kāi)發(fā)適合推斷電力接入對(duì)生計(jì)的因果影響的局部尺度的生計(jì)測(cè)量。然后，我們展示了基于機(jī)器學(xué)習(xí)的推理技術(shù)在應(yīng)用于這些數(shù)據(jù)時(shí)，如何比傳統(tǒng)的替代方法對(duì)電氣化的因果影響提供更可靠的估計(jì)。

我們估計(jì)，在烏干達(dá)農(nóng)村，電網(wǎng)接入提高了村級(jí)資產(chǎn)財(cái)富的 0.15 個(gè)標(biāo)準(zhǔn)差，在我們研究期間，相對(duì)于未處理的地區(qū)，增長(zhǎng)率增加了一倍以上。我們的結(jié)果為基于電網(wǎng)的基礎(chǔ)設(shè)施投資的影響提供了國(guó)家規(guī)模的證據(jù)，我們的方法為未來(lái)在數(shù)據(jù)稀少的環(huán)境中進(jìn)行政策評(píng)估提供了低成本、可推廣的方法。

圖：電力接入率、烏干達(dá)電氣化和資產(chǎn)財(cái)富培訓(xùn)數(shù)據(jù)。（a）2018年，撒南地區(qū)有近 6 億人無(wú)法獲得基于中央電網(wǎng)的電力。各國(guó)以缺乏電力供應(yīng)的人數(shù)來(lái)標(biāo)示。烏干達(dá)在2018年大約有2400萬(wàn)人沒(méi)有電網(wǎng)供電，用紅色邊框標(biāo)出。（b）烏干達(dá)的電網(wǎng)近年來(lái)迅速擴(kuò)大，包括該國(guó)以前未通電的地區(qū)。（c）模型訓(xùn)練中使用的27,174個(gè)調(diào)查對(duì)象的財(cái)富指數(shù)（大致為村莊），從低資產(chǎn)財(cái)富到高資產(chǎn)財(cái)富的顏色。數(shù)據(jù)涵蓋了25個(gè)國(guó)家，歷時(shí) 13年，代表641,621個(gè)家庭調(diào)查。

關(guān)于Complexity Express

Complex World, Simple Rules.

復(fù)雜世界，簡(jiǎn)單規(guī)則。

由于學(xué)科交叉融合，大量針對(duì)復(fù)雜系統(tǒng)的研究成果散落在人工智能、統(tǒng)計(jì)物理、網(wǎng)絡(luò)科學(xué)、數(shù)據(jù)科學(xué)、計(jì)算社會(huì)科學(xué)、生命科學(xué)、認(rèn)知科學(xué)等等不同領(lǐng)域的期刊會(huì)議中，缺乏整合。

為了讓大家能及時(shí)把握復(fù)雜系統(tǒng)領(lǐng)域重要的研究進(jìn)展，我們隆重推出「Complexity Express」服務(wù)，匯總復(fù)雜系統(tǒng)相關(guān)的最新頂刊論文。

原標(biāo)題：《處理子抽樣問(wèn)題從有限數(shù)據(jù)中推斷集體屬性 | 復(fù)雜性科學(xué)頂刊精選7篇》