假設(shè)我們有一個(gè)臥室圖像數(shù)據(jù)集和一個(gè)在這個(gè)數(shù)據(jù)集上訓(xùn)練的圖像分類器CNN，它告訴我們給定的輸入圖像是否是臥室。假設(shè)圖像大小為16 * 16。每個(gè)像素可以有256個(gè)可能的值。所以存在無限大量的可能輸入（即25616*16或~10616可能的組合）。這使得我們的分類器模型成為一個(gè)高維概率分布函數(shù)，它給出了來自這個(gè)大輸入空間的給定輸入作為臥室的概率。

那么，如果我們可以從臥室圖像的數(shù)據(jù)分布中學(xué)習(xí)這種高維知識(shí)來進(jìn)行分類，我們肯定能夠利用相同的知識(shí)甚至生成全新的臥室圖像。

雖然有多種生成建模方法，但我們將在本文中探討生成對(duì)抗網(wǎng)絡(luò)。GAN的原始論文（arxiv.org/pdf/1406.2661.pdf）發(fā)表于2014年，在這篇論文（arxiv.org/pdf/1511.06434.pdf）引入了深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep tional generate adversarial networks, DCGAN)，并作為一種流行的參考。這篇文章是基于這兩篇論文的研究，對(duì)GAN做了很好的介紹。

GAN是同時(shí)訓(xùn)練生成模型G和判別模型D的網(wǎng)絡(luò)。生成模型將通過捕獲與訓(xùn)練數(shù)據(jù)集相關(guān)的數(shù)據(jù)分布來生成新的臥室圖像。訓(xùn)練判別模型將給定的輸入圖像正確分類為真實(shí)(即來自訓(xùn)練數(shù)據(jù)集圖像)或虛假(即生成模型生成的合成圖像)。簡單的說，判別模型是典型的CNN圖像分類器模型，或者更具體地說是二元圖像分類器。

生成模型與判別模型略有不同。它的目標(biāo)不是分類而是生成。當(dāng)判別模型給出一個(gè)代表不同的類的激活向量時(shí)給出一個(gè)輸入圖像，生成模型就會(huì)反向執(zhí)行。

它可以被認(rèn)為是反向CNN，在某種意義上它將隨機(jī)數(shù)的向量作為輸入并生成圖像作為輸出，而正常的CNN則相反地將圖像作為輸入并生成數(shù)字向量或激活（對(duì)應(yīng)于不同的類）作為輸出。

但是這些不同的模型如何協(xié)同工作？下圖給出了網(wǎng)絡(luò)的圖示。首先，我們將隨機(jī)噪聲向量作為生成模型的輸入，生成模型生成圖像輸出。我們將這些生成的圖像稱為偽圖像或合成圖像。然后判別模型將訓(xùn)練數(shù)據(jù)集中的假圖像和真圖像都作為輸入，并生成一個(gè)輸出來分類圖像是假圖像還是真圖像。

使用這兩個(gè)模型對(duì)該網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練和優(yōu)化。判別模型的目標(biāo)是最大限度地正確分類圖像的真?zhèn)巍Ｏ喾?，生成模型的目?biāo)是最小化判別器正確地將假圖像分類為假的。

反向傳播和普通卷積神經(jīng)網(wǎng)絡(luò)（CNN）一樣，是用來訓(xùn)練網(wǎng)絡(luò)參數(shù)的，但是由于涉及到兩個(gè)目標(biāo)不同的模型，使得反向傳播的應(yīng)用有所不同。更具體地說，涉及的損失函數(shù)和在每個(gè)模型上執(zhí)行的迭代次數(shù)是GAN不同的兩個(gè)關(guān)鍵領(lǐng)域。

判別模型的損失函數(shù)將是一個(gè)與二元分類器相關(guān)的正則交叉熵?fù)p失函數(shù)。根據(jù)輸入圖像，損失函數(shù)中的一項(xiàng)或另一項(xiàng)將為0，結(jié)果將是模型預(yù)測(cè)圖像被正確分類的概率的負(fù)對(duì)數(shù)。換句話說，在我們的上下文中，對(duì)于真實(shí)圖像，“y”將為“1”，對(duì)于假圖像，“1-y”將為“1”。“p”是圖像是真實(shí)圖像的預(yù)測(cè)概率，“1-p”是圖像是假圖像的預(yù)測(cè)概率。

上面的概率p可以表示為D(x)，即判別器D估計(jì)的圖像“x”是真實(shí)圖像的概率。重寫，如下圖所示：

根據(jù)我們?nèi)绾畏峙渖舷挛?，方程的第一部分將被激活，第二部分?duì)于真實(shí)圖像將為零。反之亦然。第二部分中圖像“x”的表示可以用“G(z)”代替。也就是說，在給定輸入z的情況下，將假圖像表示為模型G的輸出?！皕”只不過是建?！癎”產(chǎn)生“G（z）”的隨機(jī)噪聲輸入向量。這些符號(hào)在初看時(shí)令人困惑，但論文中的算法通過“ascending”其隨機(jī)梯度來更新判別器，這與上文所述的最小化損失函數(shù)相同。下面是論文中函數(shù)的快照：

回到生成函數(shù)G，G的損失函數(shù)將反過來，即最大化D的損失函數(shù)。但是等式的第一部分對(duì)生成器沒有任何意義，所以我們真正說的是第二部分應(yīng)該最大化。所以G的損失函數(shù)與D的損失函數(shù)相同，只是符號(hào)顛倒了，第一項(xiàng)被忽略了。

以下是論文中生成器損失函數(shù)的快照：

正如DCGAN內(nèi)容所示，這是通過重塑和轉(zhuǎn)置卷積的組合來實(shí)現(xiàn)的。以下是生成器的表示：

轉(zhuǎn)置卷積與卷積的逆不同，它不能恢復(fù)給定卷積輸出的輸入，只是改變了卷積的形狀。下面的例子說明了上述生成器模型背后的數(shù)學(xué)原理，特別是卷積層。

在CNN中使用的常規(guī)卷積圖示，以及通過轉(zhuǎn)置卷積實(shí)現(xiàn)的上采樣的兩個(gè)示例。第一示例的結(jié)果用作第二和第三示例中具有相同內(nèi)核的輸入，以證明轉(zhuǎn)換與反卷積不相同，并不是為了恢復(fù)原始輸入。

論文算法的內(nèi)部for循環(huán)。這意味著，對(duì)于k> 1，我們?cè)贕的每次迭代中對(duì)判別器D執(zhí)行多次訓(xùn)練迭代。這是為了確保D'被充分訓(xùn)練并且比G更早地學(xué)習(xí)。我們需要一個(gè)好的D來欺騙G。

另一個(gè)相關(guān)的重點(diǎn)是生成器可能記憶輸入示例的問題，DCGAN通過使用3072-128-3072、降噪、dropout、正則化、RELU和自動(dòng)編碼器來解決，基本上是減少和重構(gòu)機(jī)制，以最小化記憶。

DCGAN中還重點(diǎn)介紹了生成器在操作時(shí)如何忘記它正在生成的臥室圖像中的某些對(duì)象。他們通過從第二層卷積層特征集中刪除對(duì)應(yīng)窗口的特征映射來實(shí)現(xiàn)這一點(diǎn)，并展示了網(wǎng)絡(luò)是如何用其他對(duì)象替換窗口空間的。