臺(tái)灣“中央研究院”IT創(chuàng)新研究中心的研究人員開發(fā)出一款新型生成對(duì)抗網(wǎng)絡(luò)，其在生成器的輸出層設(shè)計(jì)了二元神經(jīng)元，研究人員希望將此用于AI作曲。

中國(guó)臺(tái)灣的研究人員最近開發(fā)了一種新型生成對(duì)抗網(wǎng)絡(luò)(GAN)，在其生成器的輸出層設(shè)計(jì)了二元神經(jīng)元。該模型已經(jīng)預(yù)先在arXiv上發(fā)表的論文中提出，可以直接在測(cè)試時(shí)生成二進(jìn)制值預(yù)測(cè)。

目前為止，GAN在連續(xù)分布建模方面取得了顯著成果。不過(guò)，要將GAN應(yīng)用于離散型數(shù)據(jù)還存在很大挑戰(zhàn)，尤其是在高維離散空間中，主要是因?yàn)橛赡Ｐ头植枷蚰繕?biāo)數(shù)據(jù)分布的優(yōu)化上存在困難。

進(jìn)行這項(xiàng)研究的研究人員之一Hao-Wen Dong透露，“我目前正著手進(jìn)行音樂生成。我認(rèn)為，作曲可以被解讀為一系列的決斷，例如，關(guān)于樂器的選擇、和弦的方法、甚至是使用的確切音符。為了實(shí)現(xiàn)AI作曲家的宏偉愿景，我特別感興趣的是GAN等深層生成模型是否能夠做出決定。因此，這項(xiàng)工作考察了我們是否可以訓(xùn)練設(shè)計(jì)了二元神經(jīng)元的GAN，并利用標(biāo)準(zhǔn)訓(xùn)練算法與反向傳播去做出二元決策。”

Hao-Wen Dong和他的顧問(wèn)Yi-Hsuan Yang共同開發(fā)一個(gè)模型，可以在測(cè)試時(shí)直接生成二進(jìn)制值預(yù)測(cè)。然后，他們使用它來(lái)生成二進(jìn)制化的MNIST數(shù)字，同時(shí)比較不同類型的二元神經(jīng)元、GAN目標(biāo)以及網(wǎng)絡(luò)架構(gòu)的性能。

樣本生成數(shù)字和預(yù)激活輸出，用于由MLP實(shí)施并使用WGAN-GP目標(biāo)進(jìn)行訓(xùn)練的建議模型。來(lái)源：Dong and Yang

“簡(jiǎn)而言之，這種新型GAN(BinaryGAN)是一種采用二元神經(jīng)元的GAN，在其生成器的輸出層輸出一個(gè)或零的神經(jīng)元，”Dong說(shuō)，“GAN有兩個(gè)主要組成部分：生成器和判別器。生成器的目的是生成假數(shù)據(jù)樣本，這些樣本能夠欺騙判別器將生成的樣本歸類為真樣本。另一方面，判別器的目標(biāo)是區(qū)分假樣本，然后利用其提供的反饋來(lái)改進(jìn)生成器。而訓(xùn)練之后，生成器可以用來(lái)生成新的數(shù)據(jù)樣本。”

研究人員能夠有效地訓(xùn)練BinaryGAN，以及它們的生成模型與二元神經(jīng)元。他們的研究結(jié)果還表明，使用梯度估計(jì)器可能是有前景的用GAN模擬離散分布的方法。

建議模型的預(yù)激活輸出的直方圖以及實(shí)值模型的概率預(yù)測(cè)。這兩個(gè)模型均由MLP實(shí)施，并通過(guò)WGAN-GP目標(biāo)進(jìn)行培訓(xùn)。

“通過(guò)使用梯度估計(jì)器，我們能夠使用反向傳播算法訓(xùn)練BinaryGAN，”Dong說(shuō)，“此外，模型中采用的二值化導(dǎo)致了深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的中間表征存在著多種不同的特征。這也強(qiáng)調(diào)了在訓(xùn)練中包含二值化操作的重要性，因此這些二值化操作也能進(jìn)行優(yōu)化。”

Dong和Yang現(xiàn)在正尋求將采用二元神經(jīng)元的GAN應(yīng)用于條件計(jì)算圖的實(shí)現(xiàn)。在這種情況下，根據(jù)網(wǎng)絡(luò)中的二元神經(jīng)元所做的決定，某些部分將被激活或失效。

MLP實(shí)施的建議模型系統(tǒng)圖;請(qǐng)注意，二元神經(jīng)元僅用于生成器的輸出層

這很重要，因?yàn)樗梢宰屛覀兘⒁粋€(gè)更復(fù)雜的、依賴于早期網(wǎng)絡(luò)層面決定的模型，”Dong說(shuō)，“例如，我們可以建立一個(gè)AI作曲家，首先決定學(xué)習(xí)樂器和和弦，然后再相應(yīng)地學(xué)習(xí)作曲。”

關(guān)鍵詞：