發(fā)明GoogleNet的團(tuán)隊(duì)發(fā)現(xiàn)，如果僅僅引入多個(gè)尺寸的卷積核，會(huì)帶來大量的額外的參數(shù)，受到Network In Network中1×1卷積核的啟發(fā)，為了解決這個(gè)問題，他們往Inception結(jié)構(gòu)中加入了一些1×1的卷積核，如圖所示：

加入1×1卷積核的Inception結(jié)構(gòu)

根據(jù)上圖，我們來做個(gè)對(duì)比計(jì)算，假設(shè)輸入feature map的維度為256維，要求輸出維度也是256維。有以下兩種操作：

• 256維的輸入直接經(jīng)過一個(gè)3×3×256的卷積層，輸出一個(gè)256維的feature map，那么參數(shù)量為：256×3×3×256 = 589,824

• 256維的輸入先經(jīng)過一個(gè)1×1×64的卷積層，再經(jīng)過一個(gè)3×3×64的卷積層，最后經(jīng)過一個(gè)1×1×256的卷積層，輸出256維，參數(shù)量為：256×1×1×64 + 64×3×3×64 + 64×1×1×256 = 69,632。足足把第一種操作的參數(shù)量降低到九分之一！

1×1卷積核也被認(rèn)為是影響深遠(yuǎn)的操作，往后大型的網(wǎng)絡(luò)為了降低參數(shù)量都會(huì)應(yīng)用上1×1卷積核。

ResNet skip connection

傳統(tǒng)的卷積層層疊網(wǎng)絡(luò)會(huì)遇到一個(gè)問題，當(dāng)層數(shù)加深時(shí)，網(wǎng)絡(luò)的表現(xiàn)越來越差，很大程度上的原因是因?yàn)楫?dāng)層數(shù)加深時(shí)，梯度消散得越來越嚴(yán)重，以至于反向傳播很難訓(xùn)練到淺層的網(wǎng)絡(luò)。為了解決這個(gè)問題，何凱明大神想出了一個(gè)“殘差網(wǎng)絡(luò)”，使得梯度更容易地流動(dòng)到淺層的網(wǎng)絡(luò)當(dāng)中去，而且這種“skip connection”能帶來更多的好處，這里可以參考一個(gè)PPT：極深網(wǎng)絡(luò)（ResNet/DenseNet）: Skip Connection為何有效及其它 ，以及我的一篇文章：為什么ResNet和DenseNet可以這么深？一文詳解殘差塊為何能解決梯度彌散問題。 ，大家可以結(jié)合下面的評(píng)論進(jìn)行思考。

標(biāo)準(zhǔn)的卷積過程可以看上圖，一個(gè)2×2的卷積核在卷積時(shí)，對(duì)應(yīng)圖像區(qū)域中的所有通道均被同時(shí)考慮，問題在于，為什么一定要同時(shí)考慮圖像區(qū)域和通道？我們?yōu)槭裁床荒馨淹ǖ篮涂臻g區(qū)域分開考慮？

Xception網(wǎng)絡(luò)就是基于以上的問題發(fā)明而來。我們首先對(duì)每一個(gè)通道進(jìn)行各自的卷積操作，有多少個(gè)通道就有多少個(gè)過濾器。得到新的通道feature maps之后，這時(shí)再對(duì)這批新的通道feature maps進(jìn)行標(biāo)準(zhǔn)的1×1跨通道卷積操作。這種操作被稱為 “DepthWise convolution” ，縮寫“DW”。

這種操作是相當(dāng)有效的，在imagenet 1000類分類任務(wù)中已經(jīng)超過了InceptionV3的表現(xiàn)，而且也同時(shí)減少了大量的參數(shù)，我們來算一算，假設(shè)輸入通道數(shù)為3，要求輸出通道數(shù)為256，兩種做法：

• 直接接一個(gè)3×3×256的卷積核，參數(shù)量為：3×3×3×256 = 6,912

• DW操作，分兩步完成，參數(shù)量為：3×3×3 + 3×1×1×256 = 795，又把參數(shù)量降低到九分之一！

因此，一個(gè)depthwise操作比標(biāo)準(zhǔn)的卷積操作降低不少的參數(shù)量，同時(shí)論文中指出這個(gè)模型得到了更好的分類效果。

在AlexNet的Group Convolution當(dāng)中，特征的通道被平均分到不同組里面，最后再通過兩個(gè)全連接層來融合特征，這樣一來，就只能在最后時(shí)刻才融合不同組之間的特征，對(duì)模型的泛化性是相當(dāng)不利的。為了解決這個(gè)問題，ShuffleNet在每一次層疊這種Group conv層前，都進(jìn)行一次channel shuffle，shuffle過的通道被分配到不同組當(dāng)中。進(jìn)行完一次group conv之后，再一次channel shuffle，然后分到下一層組卷積當(dāng)中，以此循環(huán)。

來自ShuffleNet論文

經(jīng)過channel shuffle之后，Group conv輸出的特征能考慮到更多通道，輸出的特征自然代表性就更高。另外，AlexNet的分組卷積，實(shí)際上是標(biāo)準(zhǔn)卷積操作，而在ShuffleNet里面的分組卷積操作是depthwise卷積，因此結(jié)合了通道洗牌和分組depthwise卷積的ShuffleNet，能得到超少量的參數(shù)以及超越mobilenet、媲美AlexNet的準(zhǔn)確率！

另外值得一提的是，微軟亞洲研究院MSRA最近也有類似的工作，他們提出了一個(gè)IGC單元（Interleaved Group Convolution），即通用卷積神經(jīng)網(wǎng)絡(luò)交錯(cuò)組卷積，形式上類似進(jìn)行了兩次組卷積，Xception 模塊可以看作交錯(cuò)組卷積的一個(gè)特例，特別推薦看看這篇文章：王井東詳解ICCV 2017入選論文：通用卷積神經(jīng)網(wǎng)絡(luò)交錯(cuò)組卷積

要注意的是，Group conv是一種channel分組的方式，Depthwise +Pointwise是卷積的方式，只是ShuffleNet里面把兩者應(yīng)用起來了。因此Group conv和Depthwise +Pointwise并不能劃等號(hào)。

無論是在Inception、DenseNet或者ShuffleNet里面，我們對(duì)所有通道產(chǎn)生的特征都是不分權(quán)重直接結(jié)合的，那為什么要認(rèn)為所有通道的特征對(duì)模型的作用就是相等的呢？ 這是一個(gè)好問題，于是，ImageNet2017 冠軍SEnet就出來了。

SEnet 結(jié)構(gòu)

一組特征在上一層被輸出，這時(shí)候分兩條路線，第一條直接通過，第二條首先進(jìn)行Squeeze操作（Global Average Pooling），把每個(gè)通道2維的特征壓縮成一個(gè)1維，從而得到一個(gè)特征通道向量（每個(gè)數(shù)字代表對(duì)應(yīng)通道的特征）。

然后進(jìn)行Excitation操作，把這一列特征通道向量輸入兩個(gè)全連接層和sigmoid，建模出特征通道間的相關(guān)性，得到的輸出其實(shí)就是每個(gè)通道對(duì)應(yīng)的權(quán)重，把這些權(quán)重通過Scale乘法通道加權(quán)到原來的特征上（第一條路），這樣就完成了特征通道的權(quán)重分配。作者詳細(xì)解釋可以看這篇文章：專欄 | Momenta詳解ImageNet 2017奪冠架構(gòu)SENet

標(biāo)準(zhǔn)的3×3卷積核只能看到對(duì)應(yīng)區(qū)域3×3的大小，但是為了能讓卷積核看到更大的范圍，dilated conv使其成為了可能。dilated conv原論文中的結(jié)構(gòu)如圖所示：

上圖b可以理解為卷積核大小依然是3×3，但是每個(gè)卷積點(diǎn)之間有1個(gè)空洞，也就是在綠色7×7區(qū)域里面，只有9個(gè)紅色點(diǎn)位置作了卷積處理，其余點(diǎn)權(quán)重為0。這樣即使卷積核大小不變，但它看到的區(qū)域變得更大了。詳細(xì)解釋可以看這個(gè)回答：如何理解空洞卷積（dilated convolution）？

圖來自微軟亞洲研究院

傳統(tǒng)的卷積核一般都是長(zhǎng)方形或正方形，但MSRA提出了一個(gè)相當(dāng)反直覺的見解，認(rèn)為卷積核的形狀可以是變化的，變形的卷積核能讓它只看感興趣的圖像區(qū)域 ，這樣識(shí)別出來的特征更佳。

圖來自微軟亞洲研究院

要做到這個(gè)操作，可以直接在原來的過濾器前面再加一層過濾器，這層過濾器學(xué)習(xí)的是下一層卷積核的位置偏移量（offset），這樣只是增加了一層過濾器，或者直接把原網(wǎng)絡(luò)中的某一層過濾器當(dāng)成學(xué)習(xí)offset的過濾器，這樣實(shí)際增加的計(jì)算量是相當(dāng)少的，但能實(shí)現(xiàn)可變形卷積核，識(shí)別特征的效果更好。詳細(xì)MSRA的解讀可以看這個(gè)鏈接：可變形卷積網(wǎng)絡(luò)：計(jì)算機(jī)新“視”界。

• 啟發(fā)與思考

現(xiàn)在越來越多的CNN模型從巨型網(wǎng)絡(luò)到輕量化網(wǎng)絡(luò)一步步演變，模型準(zhǔn)確率也越來越高。現(xiàn)在工業(yè)界追求的重點(diǎn)已經(jīng)不是準(zhǔn)確率的提升（因?yàn)槎家呀?jīng)很高了），都聚焦于速度與準(zhǔn)確率的trade off，都希望模型又快又準(zhǔn)。因此從原來AlexNet、VGGnet，到體積小一點(diǎn)的Inception、Resnet系列，到目前能移植到移動(dòng)端的mobilenet、ShuffleNet（體積能降低到0.5mb?。?，我們可以看到這樣一些趨勢(shì)：

• 卷積核方面：

1. 大卷積核用多個(gè)小卷積核代替；

2. 單一尺寸卷積核用多尺寸卷積核代替；

3. 固定形狀卷積核趨于使用可變形卷積核；

4. 使用1×1卷積核（bottleneck結(jié)構(gòu)）。

• 卷積層通道方面：

1. 標(biāo)準(zhǔn)卷積用depthwise卷積代替；

2. 使用分組卷積；

3. 分組卷積前使用channel shuffle；

4. 通道加權(quán)計(jì)算。

• 卷積層連接方面：

1. 使用skip connection，讓模型更深；

2. densely connection，使每一層都融合上其它層的特征輸出啟發(fā)

類比到通道加權(quán)操作，卷積層跨層連接能否也進(jìn)行加權(quán)處理？bottleneck + Group conv + channel shuffle + depthwise的結(jié)合會(huì)不會(huì)成為以后降低參數(shù)量的標(biāo)準(zhǔn)配置？

★推薦閱讀★

用大數(shù)據(jù)和機(jī)器學(xué)習(xí)揭示十二星座的真實(shí)面目！

十圖詳解tensorflow數(shù)據(jù)讀取機(jī)制（附代碼）

亞馬遜研發(fā)了一位 ”AI設(shè)計(jì)師“

馬斯克的Neuralink領(lǐng)銜全球十大腦神經(jīng)科技公司

專訪 ‖ 英特爾＆MobileODT宮頸癌篩查比賽第一名團(tuán)隊(duì)

這家主宰700億美元比特幣市場(chǎng)的中國(guó)公司

正在打造比特幣挖礦AI芯片

黑科技！世界上第一支用AI算法釀造的啤酒