ICML20|連續(xù)圖神經(jīng)網(wǎng)絡；常數(shù)曲率圖神經(jīng)網(wǎng)絡；貝葉斯圖神經(jīng)網(wǎng)絡

taotao_2016 2020-06-22

展開全文

1.Continuous Graph Neural Networks

https:///pdf/1912.00967.pdf

本文建立在圖神經(jīng)網(wǎng)絡與傳統(tǒng)動力系統(tǒng)聯(lián)系之上。作者提出了連續(xù)圖神經(jīng)網(wǎng)絡（Continuous Graph Neural Networks，CGNN），它可以將現(xiàn)有的具有離散動力學的圖神經(jīng)網(wǎng)絡進行泛化，（GCN等可以被看做是特定離散化方案）。本文的關鍵點是如何表征節(jié)點表示的連續(xù)動態(tài)性，即節(jié)點表示的導數(shù)（w.r.t.時間）。受圖上現(xiàn)有的基于擴散的方法（例如社交網(wǎng)絡上的PageRank和流行模型）的啟發(fā)，作者將導數(shù)定義為當前節(jié)點表示形式，鄰居表示形式和節(jié)點的初始值的組合。本文提出并分析了圖上的兩種可能的動力學-包括節(jié)點表示的每個維度（也稱為特征通道）獨立變化或彼此交互-兩者都有理論上的依據(jù)。所提出的連續(xù)圖神經(jīng)網(wǎng)絡對于過度平滑具有魯棒性，因此能夠構建更深的網(wǎng)絡，從而能夠捕獲節(jié)點之間的遠程依存關系。

模型的輸入是具有節(jié)點特征的圖，最初使用單個神經(jīng)網(wǎng)絡層對這些節(jié)點特征進行編碼，而忽略了圖結構。然后，使用另一單層神經(jīng)網(wǎng)絡和softmax函數(shù)獲得logit，接著使用微分方程更改表示形式。紅線代表ODE定義的信息傳輸。

2.Constant Curvature Graph Convolutional Networks

https:///abs/1911.05076

本文來自MIT的學者提出常曲率圖卷積神經(jīng)網(wǎng)絡，探究了非歐GCN的優(yōu)勢，發(fā)表在ICML2020上。在這項工作中，作者引入了一個擴展的圖形卷積網(wǎng)絡，它允許學習存在于具有任何曲率符號的常曲率空間(乘積)中的表示。通過將導出的統(tǒng)一陀螺框架與GCNs的有效性相結合來實現(xiàn)這一點(Kipf & Welling, 2017)。Chami等人(2019年);Liu等人(2019)考慮了通過切線空間聚合在雙曲空間中學習嵌入的圖神經(jīng)網(wǎng)絡。他們的方法將在第3.4節(jié)中作更詳細的分析。本文的模型更一般化，因為它在一個包含雙曲空間的嚴格超集中產(chǎn)生表示。

3.Bayesian Graph Neural Networks with Adaptive Connection Sampling

https:///abs/2006.04064

作者為圖神經(jīng)網(wǎng)絡（GNN）中的自適應連接采樣（adaptive connection sampling）提出了一個統(tǒng)一的框架，該框架概括了用于訓練GNN的現(xiàn)有隨機正則化方法。所提出的框架不僅減輕了深層GNN的過度平滑和過度擬合的趨勢，而且使使用GNN進行圖分析任務時具有不確定性的學習成為可能。本文不使用現(xiàn)有的固定采樣率或在隨機正則化方法中手動調整它們作為模型超參數(shù)，而是提出了自適應連接采樣，可以與GNN模型參數(shù)一起以全局和局部方式進行訓練。具有自適應連接采樣的GNN，在訓練上等效于訓練貝葉斯GNN的有效近似。在基準數(shù)據(jù)集上進行消融研究表明，自適應學習采樣率是提高GNN在半監(jiān)督節(jié)點分類的關鍵，并且它不易出現(xiàn)過度平滑和過度擬。