本文總結(jié)了深度學(xué)習(xí)中常用的八大類型的卷積，以非常形象的方式幫助你建立直覺理解，為你的深度學(xué)習(xí)提供有益的參考。

分別是單通道卷積、多通道卷積、3D卷積、1 x 1卷積、轉(zhuǎn)置卷積、擴張卷積、可分離卷積、分組卷積。

單通道卷積

在深度學(xué)習(xí)中，卷積是元素先乘法后加法。對于具有1個通道的圖像，卷積如下圖所示。這里的濾波器是一個3 x 3矩陣，元素為[[0,1,2]，[2,2,0]，[0,1,2]]。過濾器在輸入端滑動。在每個位置，它都在進行元素乘法和加法。每個滑動位置最終都有一個數(shù)字。最終輸出是3 x 3矩陣。

多通道卷積

在許多應(yīng)用程序中，我們處理的是具有多個通道的圖像。典型的例子是RGB圖像。每個RGB通道都強調(diào)原始圖像的不同方面，如下圖所示：

卷積神經(jīng)網(wǎng)絡(luò)中每層用多個濾波器核就是多通道。卷積網(wǎng)絡(luò)層通常由多個通道（數(shù)百個卷積核）組成。每個通道提取前一層不同方面的抽象特征。我們?nèi)绾卧诓煌疃鹊膶又g進行過渡？我們?nèi)绾螌⑸疃葹閚的圖層轉(zhuǎn)換為深度為m的后續(xù)圖層？

多通道卷積如下。將每個內(nèi)核應(yīng)用到前一層的輸入通道上以生成一個輸出通道。這是一個內(nèi)核方面的過程。我們?yōu)樗袃?nèi)核重復(fù)這樣的過程以生成多個通道。然后將這些通道中的每一個加在一起以形成單個輸出通道。

下圖使多通道卷積過程更清晰。

輸入層是一個5 x 5 x 3矩陣，有3個通道。濾波器是3 x 3 x 3矩陣。首先，過濾器中的每個內(nèi)核分別應(yīng)用于輸入層中的三個通道,并相加；然后，執(zhí)行三次卷積，產(chǎn)生3個尺寸為3×3的通道。

多通道2D卷積的第一步：濾波器中的每個內(nèi)核分別應(yīng)用于輸入層中的三個通道。

多通道的2D卷積的第二步：然后將這三個通道相加在一起（逐元素加法）以形成一個單通道。

3D卷積

3D濾鏡可以在所有3個方向（圖像的高度，寬度，通道）上移動。在每個位置，逐元素乘法和加法提供一個數(shù)字。由于濾鏡滑過3D空間，因此輸出數(shù)字也排列在3D空間中，然后輸出是3D數(shù)據(jù)。

類似于2D卷積中對象的空間關(guān)系，3D卷積可以描述3D空間中的對象的空間關(guān)系。這種3D關(guān)系有很重要的應(yīng)用，例如在生物醫(yī)學(xué)想象的3D分割/重建中，CT和MRI，其中諸如血管的對象在3D空間中蜿蜒。

1 x 1卷積

1 x 1卷積中將一個數(shù)字乘以輸入層中的每個數(shù)字。

如果輸入層有多個通道，此卷積會產(chǎn)生有趣的作用。下圖說明了1 x 1卷積如何適用于尺寸為H x W x D的輸入層。在濾波器尺寸為1 x 1 x D的1 x 1卷積之后，輸出通道的尺寸為H x W x 1.如果我們應(yīng)用N這樣的1 x 1卷積然后將結(jié)果連接在一起，我們可以得到一個尺寸為H x W x N的輸出層。

最初，在網(wǎng)絡(luò)網(wǎng)絡(luò)文件中提出了1 x 1卷積。然后，他們在Google Inception 被高度使用1 x 1卷積的一些優(yōu)點是：

• 降低維度以實現(xiàn)高效計算
• 高效的低維嵌入或特征池
• 卷積后再次應(yīng)用非線性

在上圖中可以觀察到前兩個優(yōu)點。在1 x 1卷積之后，我們顯著地減小了尺寸。假設(shè)原始輸入有200個通道，1 x 1卷積會將這些通道（功能）嵌入到單個通道中。第三個優(yōu)點是在1 x 1卷積之后，可以添加諸如ReLU的非線性激活，非線性允許網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的功能。

轉(zhuǎn)置卷積（解卷積、反卷積）

對于許多應(yīng)用程序和許多網(wǎng)絡(luò)架構(gòu)，我們經(jīng)常希望進行與正常卷積相反方向的轉(zhuǎn)換，即我們希望執(zhí)行上采樣。一些示例包括生成高分辨率圖像并將低維特征映射映射到高維空間，例如自動編碼器或語義分段。

傳統(tǒng)上，可以通過應(yīng)用插值方案或手動創(chuàng)建規(guī)則來實現(xiàn)上采樣。然而，神經(jīng)網(wǎng)絡(luò)之類的現(xiàn)代架構(gòu)可以讓網(wǎng)絡(luò)本身自動地學(xué)習(xí)正確的轉(zhuǎn)換，而無需人為干預(yù)。

對于下圖中的示例，我們使用3 x 3內(nèi)核在2 x 2輸入上應(yīng)用轉(zhuǎn)置卷積，使用單位步幅填充2 x 2邊框，上采樣輸出的大小為4 x 4。

有趣的是，通過應(yīng)用花式填充和步幅，可以將相同的2 x 2輸入圖像映射到不同的圖像大小。下面，轉(zhuǎn)置卷積應(yīng)用于相同的2 x 2輸入，使用單位步幅填充2 x 2邊界的零，現(xiàn)在輸出的大小為5 x 5。

在卷積中，讓我們將C定義為我們的內(nèi)核，將Large定義為輸入圖像，將Small定義為來自卷積的輸出圖像。在卷積（矩陣乘法）之后，我們將大圖像下采樣為小圖像輸出。矩陣乘法中的卷積的實現(xiàn)遵循C x Large = Small。

以下示例顯示了此類操作的工作原理。它將輸入展平為16 x 1矩陣，并將內(nèi)核轉(zhuǎn)換為稀疏矩陣（4 x 16）。然后在稀疏矩陣和平坦輸入之間應(yīng)用矩陣乘法。之后，將得到的矩陣（4×1）轉(zhuǎn)換回2×2輸出。

現(xiàn)在，如果我們在方程的兩邊多重矩陣CT的轉(zhuǎn)置，并使用矩陣與其轉(zhuǎn)置矩陣的乘法給出單位矩陣的屬性，那么我們有以下公式CT x Small = Large，如下所示下圖。

擴張卷積

標(biāo)準(zhǔn)的離散卷積：

擴張的卷積如下：

當(dāng)l = 1時，擴張卷積變?yōu)闃?biāo)準(zhǔn)卷積。

直觀地說，擴張的卷積通過在內(nèi)核元素之間插入空格來'膨脹'內(nèi)核。這個附加參數(shù)l（擴張率）表示我們想要擴展內(nèi)核的程度。實現(xiàn)可能會有所不同，但內(nèi)核元素之間通常會插入l-1個空格。下圖顯示了l = 1,2和4時的內(nèi)核大小。

觀察一個大的感受野，而不增加額外的成本。

在圖像中，3×3個紅點表示在卷積之后，輸出圖像具有3×3像素。雖然所有三個擴張的卷積都為輸出提供了相同的尺寸，但模型觀察到的感受野是截然不同的。對于l = 1，接收域為3 x 3 ，l = 2時為7 x 7 ，對于l = 3，接收領(lǐng)域增加到15 x 15 。有趣的是，與這些操作相關(guān)的參數(shù)數(shù)量基本相同。

可分離卷積

空間可分卷積

空間可分離卷積在圖像的2D空間維度上操作，即高度和寬度。從概念上講，空間可分離卷積將卷積分解為兩個單獨的操作。對于下面顯示的示例，內(nèi)核（3x3內(nèi)核）被劃分為3x1和1x3內(nèi)核。

在卷積中，3x3內(nèi)核直接與圖像卷積。在空間可分離的卷積中，3x1內(nèi)核首先與圖像卷積。然后應(yīng)用1x3內(nèi)核。在執(zhí)行相同操作時，這將需要6個而不是9個參數(shù)。

此外，在空間上可分離的卷積中需要比卷積更少的矩陣乘法。對于一個具體的例子，在具有3×3內(nèi)核（stride = 1，padding = 0）的5×5圖像上的卷積需要在水平3個位置和垂直3個位置掃描內(nèi)核，共9個位置，如下圖所示。在每個位置，應(yīng)用9個元素乘法?？偣? x 9 = 81次乘法。

另一方面，對于空間可分離卷積，我們首先在5 x 5圖像上應(yīng)用3 x 1濾波器。我們在水平5個位置和垂直3個位置掃描這樣的內(nèi)核。共5×3 = 15個位置，表示為下面的圖像上的點。在每個位置，應(yīng)用3個元素乘法。那是15 x 3 = 45次乘法。我們現(xiàn)在獲得了3 x 5矩陣。此矩陣現(xiàn)在與1 x 3內(nèi)核進行卷積，內(nèi)核在水平3個位置和垂直3個位置掃描矩陣。對于這9個位置中的每一個，應(yīng)用3個元素乘法。此步驟需要9 x 3 = 27次乘法。因此，總體而言，空間可分離的卷積需要45 + 27 = 72乘法，小于標(biāo)準(zhǔn)卷積。

深度可分卷積

深度可分離的旋轉(zhuǎn)包括兩個步驟：深度卷積和1x1卷積。

在描述這些步驟之前，值得重新審視我之前部分中討論的2D卷積和1 x 1卷積。讓我們快速回顧一下標(biāo)準(zhǔn)2D卷積。舉一個具體的例子，假設(shè)輸入層的大小為7 x 7 x 3（高x寬x通道），濾波器的大小為3 x 3 x 3。使用一個濾波器進行2D卷積后，輸出層為尺寸為5 x 5 x 1（僅有1個通道）。

通常，在兩個神經(jīng)網(wǎng)絡(luò)層之間應(yīng)用多個濾波器。假設(shè)我們這里有128個過濾器。在應(yīng)用這128個2D卷積后，我們有128個5 x 5 x 1輸出映射。然后我們將這些地圖堆疊成一個大小為5 x 5 x 128的單層。通過這樣做，我們將輸入層（7 x 7 x 3）轉(zhuǎn)換為輸出層（5 x 5 x 128）。空間尺寸，即高度和寬度，縮小，而深度延長。

現(xiàn)在有了深度可分離的卷積，讓我們看看我們?nèi)绾螌崿F(xiàn)相同的轉(zhuǎn)換。

首先，我們將深度卷積應(yīng)用于輸入層。我們不是在2D卷積中使用尺寸為3 x 3 x 3的單個濾波器，而是分別使用3個內(nèi)核。每個濾波器的大小為3 x 3 x 1.每個內(nèi)核與輸入層的1個通道進行卷積（僅1個通道，而不是所有通道?。?。每個這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創(chuàng)建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3.我們現(xiàn)在縮小空間尺寸，但深度仍然與以前相同。

深度可分卷積 - 第一步：我們分別使用3個內(nèi)核，而不是在2D卷積中使用大小為3 x 3 x 3的單個濾波器。每個濾波器的大小為3 x 3 x 1。每個內(nèi)核與輸入層的1個通道進行卷積（僅1個通道，而不是所有通道）。每個這樣的卷積提供尺寸為5×5×1的圖。然后我們將這些圖堆疊在一起以創(chuàng)建5×5×3圖像。在此之后，我們的輸出尺寸為5 x 5 x 3。

作為深度可分離卷積的第二步，為了擴展深度，我們應(yīng)用1x1卷積，內(nèi)核大小為1x1x3。將5 x 5 x 3輸入圖像與每個1 x 1 x 3內(nèi)核進行對比，可提供大小為5 x 5 x 1的映射。

因此，在應(yīng)用128個1x1卷積后，我們可以得到一個尺寸為5 x 5 x 128的層。

深度可分卷積 - 第二步：應(yīng)用多個1 x 1卷積來修改深度。

通過這兩個步驟，深度可分離卷積還將輸入層（7 x 7 x 3）轉(zhuǎn)換為輸出層（5 x 5 x 128）。

深度可分離卷積的整個過程如下圖所示。

那么，深度可分離卷積的優(yōu)勢是什么？效率！與2D卷積相比，對于深度可分離卷積，需要更少的操作。

讓我們回顧一下2D卷積示例的計算成本。有128個3x3x3內(nèi)核移動5x5次。這是128 x 3 x 3 x 3 x 5 x 5 = 86,400次乘法。

可分離的卷積怎么樣？在第一個深度卷積步驟中，有3個3x3x1內(nèi)核移動5x5次。那是3x3x3x1x5x5 = 675次乘法。在1 x 1卷積的第二步中，有128個1x1x3內(nèi)核移動5x5次。這是128 x 1 x 1 x 3 x 5 x 5 = 9,600次乘法。因此，總體而言，深度可分離卷積需要675 + 9600 = 10,275次乘法。這只是2D卷積成本的12％左右！

分組卷積

2012年，在AlexNet論文中引入了分組卷積。實現(xiàn)它的主要原因是允許通過兩個具有有限內(nèi)存（每個GPU 1.5 GB內(nèi)存）的GPU進行網(wǎng)絡(luò)訓(xùn)練。下面的AlexNet在大多數(shù)層上顯示了兩個獨立的卷積路徑。它正在跨兩個GPU進行模型并行化（當(dāng)然，如果有更多的GPU，可以進行多GPU并行化）。

在這里，我們描述分組卷積如何工作。首先，傳統(tǒng)的2D卷積遵循以下步驟。在此示例中，通過應(yīng)用128個濾波器（每個濾波器的大小為3 x 3 x 3），將大小為（7 x 7 x 3）的輸入層轉(zhuǎn)換為大小為（5 x 5 x 128）的輸出層?；蛘咴谝话闱闆r下，通過應(yīng)用Dout內(nèi)核（每個大小為h x w x Din）將大?。℉in x Win x Din）的輸入層變換為大小（Hout x Wout x Dout）的輸出層。

在分組卷積中，過濾器被分成不同的組。每組負責(zé)具有一定深度的傳統(tǒng)2D卷積。如下圖。

以上是具有2個濾波器組的分組卷積的說明。在每個濾波器組中，每個濾波器的深度僅為標(biāo)稱2D卷積的深度的一半。它們具有深度Din/2。每個濾波器組包含Dout/2濾波器。第一個濾波器組（紅色）與輸入層的前半部分（[：，：0：Din/2]）卷積，而第二個濾波器組（藍色）與輸入層的后半部分卷積（[：，：，Din/2：Din]）。因此，每個過濾器組都會創(chuàng)建Dout / 2通道?？偟膩碚f，兩組創(chuàng)建2 x Dout/2 = Dout頻道。然后，我們使用Dout通道將這些通道堆疊在輸出層中。