|
琳瑯滿目的AI技術、論文，常會把剛入行的初學者們搞得一頭霧水——到底哪些論論必須要看，先看哪些后看哪些。而市面上大部分的書籍又只是講述最基礎的原理，往往不能和論文很好的銜接起來。 看著一個個大廠的黑科技產品靚麗光鮮。而自己手里看到的技術卻都是向量機、矩陣、隨機森林、嶺回歸、決策樹之類的知識碎片。不僅會讓人感嘆，我們是一個活在時代嗎？ 其實IT技術發(fā)展是飛快的。而AI領域的發(fā)展會是IT中最快的。我們所看到的那些黑客技，其后面無不堆積了大量的論文。而且都是最新、最前沿的論文。 從某種調度來講，他們所用的技術跟書籍里的內容確實不是一個時代。要想與時俱進，就必須改變思路——從論文入手。小編在這里為大家準備了一道硬菜——45篇讓你跟上時代的論文。 45篇論文分為如下十一個部分：
看過《深度學習之TensorFlow工程化項目實戰(zhàn)》的小伙伴一定會發(fā)現，這45篇論文在書中都有講過，大部分論文還是以中文描述+實際代碼案例的形式出現，便于學習了解。 （點擊封面了解本書詳情） 這是一本非常全面的、專注于實戰(zhàn)的AI圖書，兼容TensorFlow 1.x和2.x版本，共75個實例。結構清晰、案例豐富、通俗易懂、實用性強。適合對人工智能、TensorFlow感興趣的讀者作為自學教程。 No. 1 wide_deep模型論文 關于神經元、全連接網絡之類的基礎結構，想必每個AI學者都有了解。那么你是否真的了解全連接網絡中深層與淺層的關系呢？來看看wide_deep模型吧。這篇論文會使你對全連接有個更深刻的理解。 關于該模型的更多介紹可以參考論文： https:///pdf/1606.07792.pdf 在wide_deep模型中，wide模型和deep模型具有各自不同的分工。
將二者結合起來——用聯合訓練方法共享反向傳播的損失值來進行訓練—可以使兩個模型綜合優(yōu)點，得到最好的結果。 No.2 wide_deep模型論文 為什么Adam被廣泛使用？光會用可不行，還得把原理看懂。這樣出去噴一噴，才會顯得更有面子。 Adam的細節(jié)請參閱論文《Adam: A Method for Stochastic Optimization》，該論文的鏈接網址是： https:///pdf/1412.6980v8.pdf No.3 Targeted Dropout模型論文 你還在用普通的Dropout嗎？我已經開始用Targeted Dropout了。比你的又快，又好。你不知道吧，趕緊學習一下。 Targeted Dropout不再像原有的Dropout那樣按照設定的比例隨機丟棄部分節(jié)點，而是對現有的神經元進行排序，按照神經元的權重重要性來丟棄節(jié)點。這種方式比隨機丟棄的方式更智能，效果更好。更多理論見以下論文： https:///pdf?id=HkghWScuoQ No.4 Xception模型論文 在那個圖像分類的時代，谷歌的Xception系列，像x戰(zhàn)警一樣，一個一個的打破記錄。其中的技術也逐漸成為AI發(fā)展的知識體系。有必要看一下?；蛟S會對自己的工作有所啟發(fā)。 詳細情況請查看原論文《Xception: Deep Learning with Depthwise Separable Convolutions》，該論文網址是： https:///abs/1610.02357 No.5 殘差結構論文 運氣好到沒朋友，現有模型，后完善理論指的就是殘差結構這哥們。他的傳奇導致即使到今天的AI技術，也無法將它割舍，常微分方程都得拿它比肩?？靵韺W學吧。用處大著呢。好多模型都拿他當先鋒。 利用殘差結構，可以使得網絡達到上百層的深度。詳情請參閱原始論文《Deep ResidualLearning for Image Recognition》，該論文網址是： https:///abs/1512.03385 No.6 空洞卷積論文 NasNet的招牌動作，雖然不是出于NASNet，但是卻被人家用得如火純青。有時不得不驚嘆，機器設計出來的模型還真是跟人設計的不一樣！ 想知道空洞卷積的感受為什么與層數呈指數級關系嗎？ 細節(jié)請查看原論文《Multi-scale context aggregation by dilated convolutions》，該論文網址是： https:///abs/1511.07122v3 No.7 DenseNet論文 這個模型使我想到了“一根筋”，再次證明了只有軸的人才能成大事！另類的模型，神奇的效果，快來體驗一下吧。這可是比華佗還牛的神醫(yī)哦！ 有關DenseNet模型的細節(jié)，請參考原始論文《Densely Connected Convolutional Networks》，該論文的連接是： https:///abs/1608.06993 No.8 EfficientNet模型論文 知道目前位置圖像分類界誰是老大嗎？來，看看這個！ EfficientNet模型的論文地址如下： https:///pdf/1905.11946.pdf No.9 Grad-CAM模型論文 如果你能把神經元搞得透徹，你也會想到這個點子。不想聊太多！一個字“絕”！這TMD才叫卷積網絡的可視化！ 詳細情況請參閱論文《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》，該論文的鏈接網址是 https:///pdf/1610.02391.pdf No.10 分類模型泛化能力論文 知道為啥都喜歡使用ResNet模型當先鋒嗎？運氣好就是運氣好！好到大家都喜歡用它，還說不出為啥它那么好！反正就是好，不信的話看看這篇論文的實驗結果。 論文中，在選取模型的建議中，多次提到了ResNet模型。原因是，ResNet模型在Imgnet數據集上輸出的特征向量所表現的泛化能力是最強的。具體可以參考以下論文： https:///pdf/1805.08974.pdf No.11 批量正則化論文 這個沒的說，必修課，不懂的話，會被鄙視成渣渣！ 論文《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，該論文網址是： https:///abs/1502.03167 No.12 實例歸一化論文 時代不同了，批量歸一化也升級了，趕緊學學新的歸一化吧。 在對抗神經網絡模型、風格轉換這類生成式任務中，常用實例歸一化取代批量歸一化。因為，生成式任務的本質是——將生成樣本的特征分布與目標樣本的特征分布進行匹配。生成式任務中的每個樣本都有獨立的風格，不應該與批次中其他的樣本產生太多聯系。所以，實例歸一化適用于解決這種基于個體的樣本分布問題。詳細說明見以下鏈接： https:///abs/1607.08022 No.13 ReNorm算法論文 ReNorm算法與BatchNorm算法一樣，注重對全局數據的歸一化，即對輸入數據的形狀中的N維度、H維度、W維度做歸一化處理。不同的是，ReNorm算法在BatchNorm算法上做了一些改進，使得模型在小批次場景中也有良好的效果。具體論文見以下鏈接： https:///pdf/1702.03275.pdf No.14 GroupNorm算法論文 GroupNorm算法是介于LayerNorm算法和InstanceNorm算法之間的算法。它首先將通道分為許多組（group），再對每一組做歸一化處理。 GroupNorm算法與ReNorm算法的作用類似，都是為了解決BatchNorm算法對批次大小的依賴。具體論文見下方鏈接： https:///abs/1803.08494 No.15 SwitchableNorm算法論文 我們國人做產品都喜歡這么干！all in one ,好吧。既然那么多批量歸一化的方法。來，來，來，我們來個all in one吧。不服來辯，我這啥都有！ SwitchableNorm算法是將BN算法、LN算法、IN算法結合起來使用，并為每個算法都賦予權重，讓網絡自己去學習歸一化層應該使用什么方法。具體論文見下方鏈接： https:///abs/1806.10779 No.16 大道至簡的注意力論文 把AI搞成玄學也就算了！居然還扯到道家了！谷歌的工程師真是中外通吃?。「愠鰜砹艘粋€只用注意力就能做事的模型，連卷積都不要了！你說好玩不好玩！至簡不至簡！刺激不刺激！ 大名鼎鼎的Attention is All You Need 注意力機制論文 注意力機制因2017年谷歌的一篇論文Attention is All You Need而名聲大噪。下面就來介紹該技術的具體內容。如果想了解更多，還可以參考原論文，具體地址如下： https:///abs/1706.03762 No.17-18 孿生注意力論文 好比LSTM與GRU一樣，注意力他們家也除了一對雙胞胎，長得略微有點不同。但是功能一樣，都能吃能喝，還能注意。老虎老鼠傻傻的不清楚！ BahdanauAttention： https:///abs/1409.0473 LuongAttention： https:///abs/1508.04025 No.19 各自升級的孿生注意力論文 話說這對雙胞胎，出生后就分開了。各自學的不同的語言，一個學習漢語，一個學習中文。若干年后，見面，發(fā)現二者的能力還是一樣！ BahdanauAttention注意力升級成了normed_BahdanauAttention，而LuongAttention注意力升級成了scaled_LuongAttention。都一樣的效果，你愛用哪個用哪個吧！ 例如： 在BahdanauAttention類中有一個權重歸一化的版本（normed_BahdanauAttention），它可以加快隨機梯度下降的收斂速度。在使用時，將初始化函數中的參數normalize設為True即可。 具體可以參考以下論文： https:///pdf/1602.07868.pdf No.20 單調注意力機制論文 老公主動表忠心，我以后不看別的美女。老婆覺得不夠，再加個限制：你以后不準看別的女人！于是單調注意力就出來了。 單調注意力機制（monotonic attention），是在原有注意力機制上添加了一個單調約束。該單調約束的內容為： （1）假設在生成輸出序列過程中，模型是以從左到右的方式處理輸入序列的。 （2）當某個輸入序列所對應的輸出受到關注時，在該輸入序列之前出現的其他輸入將不能在后面的輸出中被關注。 即已經被關注過的輸入序列，其前面的序列中不再被關注。 更多描述可以參考以下論文： https:///pdf/1704.00784.pdf No.21 混合注意力機制論文 這個注意力很強大，比一般的注意力專注的地方更多，信息更豐富。我已經注意你很久了！呵呵呵~~~ 因為混合注意力中含有位置信息，所以它可以在輸入序列中選擇下一個編碼的位置。這樣的機制更適用于輸出序列大于輸入序列的Seq2Seq任務，例如語音合成任務。 具體可以參考以下論文： https:///pdf/1506.07503.pdf No.22 膠囊網絡與動態(tài)路由的論文 這是一股為圖像分類降溫的寒風，深刻而又尖銳的點出了卷積網絡的硬傷！從事最大池化再無翻身之日。 雖然膠囊網絡在實際應用中，不像它的理論那么牛，但是對AI的幫助，卷積的理解是革命性的。非常值得一讀。另外，這也是一篇絕對讓你對數學徹底絕望的論文。花幾根白頭發(fā)把里面的算法啃下來吧。這樣你與大神就能更近一步。 膠囊網絡分為主膠囊與數字膠囊，主膠囊與數字膠囊之間的耦合系數是通過訓練得來的。在訓練過程中，耦合系數的更新不是通過反向梯度傳播實現的，而是采用動態(tài)路由選擇算法完成的。該算法來自以下論文鏈接： https:///pdf/1710.09829.pdf 目前膠囊網絡的研究還處于初級階段，隨著人們研究的深入，相信這些問題會得到解決。 No.23 矩陣膠囊網絡與EM路由算法 如果你覺得不過癮，那么還可以再看一篇。繼續(xù)自虐一下。 帶有EM（期望最大化）路由的矩陣膠囊網絡是動態(tài)路由膠囊網絡的一個改進版本。論文鏈接如下： https:///pdf?id=HJWLfGWRb No.24 膠囊網絡的其它用處 膠囊網絡全身是寶，但就是自己不爭氣。這也說明還有上升的空間。就拿其中一個動態(tài)路由算法來講，居然比普通的注意力還好。 看完之后，相信你一定會手癢！要不要也試試？把你的注意力換一下。值得你嘗試，會有彩蛋的！ 該論文的實踐也證明，與原有的注意力機制相比，動態(tài)路由算法確實在精度上有所提升。具體介紹可見以下論文： https:///pdf/1806.01501.pdf No.25 卷積網絡新玩法TextCNN模型 早先小編在一個項目中，自己用卷積網絡處理字符數據。自己感覺很Happy。沒想到，無意間居然發(fā)現了一篇同樣這么干的論文。居然還有個名字，叫TextCNN。哎！可惜??！小編文化少，只會寫代碼，不會寫論文。 TextCNN模型是利用卷積神經網絡對文本進行分類的算法，由 Yoon Kim 在 Convolutional Neural Networks for Sentence Classification 一文中提出。論文地址： https:///pdf/1408.5882.pdf No.26 FPN模型論文 （包含了ROIAlign的匹配算法） 要是搞計算機視覺，還是要建議看一下。非常的基礎。也是圖像分割方面的用得最多得模型。 FPN的原理是：將骨干網絡最終特征層和中間特征層的多個尺度的特征以類似金字塔的形式融合在一起。最終的特征可以兼顧兩個特點——指向收斂目標的特征準確、特征語義信息豐富。更多信息可以參考論文： ROIAlign層中的匹配算法也來自于這篇FPN論文，鏈接如下： https:///abs/1612.03144 No.27 Mask R-CNN模型論文 效果好，代碼多！硬貨！來啃吧！ Mask R-CNN模型是一個簡單、靈活、通用的對象實例分割框架。它能夠有效地檢測圖像中的對象，并為每個實例生成高質量的分割掩碼，還可以通過增加不同的分支完成不同的任務。它可以完成目標分類、目標檢測、語義分割、實例分割、人體姿勢識別等多種任務。具體細節(jié)可以參考以下論文： https:///abs/1703.06870 No28 YOLO V3模型論文 這個模型的特點就是快！目標識別強烈推薦 YOLO V3模型的更多信息可以參考以下鏈接中的論文： https:///media/files/papers/YOLOv3.pdf No.29 Anchor-Fress模型--FCOS模型論文 隨著AI技術的進步Anchor-Fress模型死灰復燃（早先是YOLO V1那一批模型），這次不一樣的是徹底干掉帶Anchor的模型。訓練起來那就一個爽！媽媽再也不用為我準備單獨的Anchor標簽了。 與YOLO V1相比， FCOS模型的思想與YOLO V1模型非常相似，唯一不同的是FCOS模型沒有像YOLOv1那樣只考慮中心附近的點，而是利用了ground truth邊框中所有的點來進行預測邊框。并且通過 center-ness 分支來抑制那些效果不行的檢測邊框。這樣FCOS 就可以改善YOLO V1模型總會漏掉部分檢測邊框的缺點。 相關論文地址： https:///abs/1904.01355 No.30 Anchor-Fress模型--CornerNet-Lite模型論文 一樣也是Anchor-Fress模型，與FCOS效果差不多少，具體看一下論文吧 CornerNet-Lite模型。相關論文地址： https:///pdf/1904.08900.pdf No.31 棧式沙漏網絡模型--Hourglass論文 最初用戶人的姿態(tài)估計，在符合模型中也是常被使用的模型。論文地址： https:///abs/1603.06937 No.32 OCR必修課——STN模型論文 可以讓模型自動仿射變化，你說牛不牛！要學OCR，就得從這個開始。 有關STN模型的論文鏈接如下： https:///abs/1506.02025 No.33 QRNN模型論文 在RNN模型的cell里，如果還只知道LSTM和GRU。那就太low了?？炝搜a補吧： 如果想更多了解QRNN，可以參考以下論文： https:///abs/1611.01576 No.34 SRU模型論文 接著來，各種RNN的Cell。又漂亮，又好吃！ SRU單元在本質上與QRNN單元很像。從網絡構建上看，SRU單元有點像QRNN單元中的一個特例，但是又比QRNN單元多了一個直連的設計。 若需要研究SRU單元更深層面的理論，可以參考如下論文： https:///abs/1709.02755 No.35 IndRNN模型論文 再補一個，這可都是好cell啊！ 將IndRNN單元配合ReLu等非飽和激活函數一起使用，會使模型表現出更好的魯棒性。 有關IndRNN單元的更多理論，可以參考論文： https:///abs/1803.04831 No.36 IndRNN模型論文 最后，再來一個cell，如想要了解更多關于JANET單元的內容，可以參考以下論文： https:///abs/1804.04849 No.37-38 Tacotron與Tacotron-2模型論文 AI合成部分的經典模型，以上結構來自Tacotron與Tacotron-2兩個結構，更多內容可以參考以下兩篇論文： https:///pdf/1703.10135.pdf https:///pdf/1712.05884.pdf No.39 DeblurGAN模型論文 圖片合成的論文太多了。這里簡單列幾個，大體原理和思路了解，即可。 DeblurGAN模型是一個對抗神經網絡模型，由生成器模型和判別器模型組成。
具體可以參考論文： https:///pdf/1711.07064.pdf No.40 AttGAN模型論文 同樣，這也是個圖片合成的。不同的是多屬性合成，相對比較有意思。 AttGAN模型由兩個子模型組成： （1）利用編碼器模型將圖片特征提取出來。 （2）將提取的特征與指定的屬性值參數一起輸入編碼器模型中，合成出最終的人臉圖片。 更多細節(jié)可以參考論文： https:///pdf/1711.10678.pdf No.41 RNN.WGAN模型論文 可以合成文本的GAN。離散數據也能干！ RNN.WGAN模型使用了WGAN模型的方法進行訓練。詳細做法可以參考如下論文： https:///abs/1704.00028
No.42 MKR模型論文 多任務學習模型有必要了解一下。這里推薦一個論文給你看看。 MKR是一個多任務學習的端到端框架。該框架能夠將兩個不同任務的底層特征抽取出來，并融合在一起實現聯合訓練，從而達到最優(yōu)的結果。有關MKR的更多介紹可以參考以下鏈接： https:///pdf/1901.08907.pdf
No.43 BERT模型論文 如果你搞NLP，那么這個就不用我來介紹了。如果你準備搞NLP,那么趕緊來看看這個，跟上時代。 BERT相關論文鏈接： https:///abs/1810.04805 在BERT之后，又出了好多優(yōu)秀的模型。但是，還是先把這個啃下來，再看別的才不費勁。
No.44 FGSM模型論文 攻擊模型的經典方法。值得掌握。 FGSM（Fast Gradient Sign Method）是一種生成對抗樣本的方法。該方法的描述如下： （1）將輸入圖片當作訓練的參數，使其在訓練過程中可以被調整。 （2）在訓練時，通過損失函數誘導模型對圖片生成錯誤的分類。 （3）當多次迭代導致模型收斂后，訓練出來的圖片就是所要得到的對抗樣本。 具體可以參考論文： https:///pdf/1607.02533.pdf No.45 黑箱攻擊論文 基于雅可比（Jacobian）矩陣的數據增強方法，是一種常用的黑箱攻擊方法。該方法可以快速構建出近似于被攻擊模型的決策邊界，從而使用最少量的輸入樣本。即：構建出代替模型，并進行后續(xù)的攻擊操作。 詳細請見如下鏈接： https:///abs/1602.02697
這里只是列了一些基礎的論文。如果這45篇論文看完。可以保證你再看到大廠的產品時，不會感覺有代溝。 啃論文是很費時間的事情。還好小編這里為大家準備了一本書——《深度學習之TensorFlow工程化項目實戰(zhàn)》，在書里已經將大部分的論文轉化成中文描述，并配合實際的代碼案例了。因為知識比較多，所以也很厚！
（點擊封面了解本書詳情） 本書主要由李金洪編寫，出自代碼醫(yī)生工作室。同時該工作室也為讀者提供免費的技術問答。只要你肯學！有問必有答！ 推薦理由：
本書特點：
書中案例： 書中一共75個案例
如果想快速掌握這些，讀書！確實是一個捷徑！努力吧！熱血青年。
 |
|
|
來自： 西北望msm66g9f > 《培訓》
