論文中引入 transformer 的結構,其中注意力模型在對話(huà)輪的順序上面起了了作用.最近我們使用遞歸神經(jīng)網(wǎng)絡(luò )多輪對話(huà)的上下文中用戶(hù)說(shuō)的話(huà),但是我們原本認為注意力模型會(huì )更適合多輪場(chǎng)景.默認情況下,RNN假設每個(gè)選項和完整的序列有關(guān),但是一輪對話(huà)當中包括一 ......

本文提出在利用 GAN（對抗網(wǎng)絡(luò )）的方法時(shí)，在生成模型G和判別模型D中都加入條件信息來(lái)引導模型的訓練，并將這種方法應用于跨模態(tài)問(wèn)題，例如圖像自動(dòng)標注等。

正則化(Regularization) 是機器學(xué)習中對原始損失函數引入額外信息，以便防止過(guò)擬合和提高模型泛化性能的一類(lèi)方法的統稱(chēng)。正則化是在經(jīng)驗風(fēng)險上面加了一個(gè)正則化項或者懲罰項,正則化函數一般是模型法則度的單調增函數,模型越負責,正則化值就越大.

本頁(yè)主要用來(lái)記錄自己已經(jīng)讀過(guò)的書(shū)或者是正在讀的書(shū)，里面的這些書(shū)都是個(gè)人覺(jué)得值得花一點(diǎn)時(shí)間去讀的書(shū)，如果感興趣的話(huà)可以交流下。

K近鄰算法，即是給定一個(gè)訓練數據集，對新的輸入實(shí)例，在訓練數據集中找到與該實(shí)例最鄰近的K個(gè)實(shí)例，這K個(gè)實(shí)例的多數屬于某個(gè)類(lèi)，就把該輸入實(shí)例分類(lèi)到這個(gè)類(lèi)中.

自己搭建博客的原因是現有的博客系統不滿(mǎn)足我的要求，簡(jiǎn)單來(lái)說(shuō)就是看著(zhù)現有的博客系統不順眼，現在博客主要內容就是自己平時(shí)看的書(shū)以及各種想法總結等等。還有就是希望博客上面記載的東西能夠幫助到別人。

監督學(xué)習方法可以分為生成方法和判別方法,所學(xué)到的模型分別為生成模型和判別模型.

在實(shí)際生活中，常常會(huì )出現一部分樣本有標記和較多樣本無(wú)標記的情形，例如：做網(wǎng)頁(yè)推薦時(shí)需要讓用戶(hù)標記出感興趣的網(wǎng)頁(yè)，但是少有用戶(hù)愿意花時(shí)間來(lái)提供標記。若直接丟棄掉無(wú)標記樣本集，使用傳統的監督學(xué)習方法，常常會(huì )由于訓練樣本的不充足，使得其刻畫(huà)總體分布的能力減弱，從 ......

VARIATIONAL RECURRENT AUTO-ENCODERS 筆記

Auto-Encoding Variational Bayes論文筆記