深度學(xué)習(xí)

    深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無(wú)監(jiān)督學(xué)習(xí)的一種。 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度

從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖(flow graph)來(lái)表示:流向圖是一種能夠表示計(jì)算的圖，在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算并且一個(gè)計(jì)算的值(計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的孩子節(jié)點(diǎn)的值)。考慮這樣一個(gè)計(jì)算集合，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個(gè)函數(shù)族。輸入節(jié)點(diǎn)沒(méi)有父親，輸出節(jié)點(diǎn)沒(méi)有孩子。

這種流向圖的一個(gè)特別屬性是深度(depth):從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對(duì)于輸出層為隱層數(shù)加1)。SVMs有深度2(一個(gè)對(duì)應(yīng)于核輸出或者特征空間，另一個(gè)對(duì)應(yīng)于所產(chǎn)生輸出的線性混合)。

解決問(wèn)題

需要使用深度學(xué)習(xí)解決的問(wèn)題有以下的特征:

1.深度不足會(huì)出現(xiàn)問(wèn)題。

2.人腦具有一個(gè)深度結(jié)構(gòu)。

3.認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象。

在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標(biāo)精度的函數(shù)。但是其代價(jià)是:圖中所需要的節(jié)點(diǎn)數(shù)(比如計(jì)算和參數(shù)數(shù)量)可能變的非常大。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長(zhǎng)的函數(shù)族是存在的。

我們可以將深度架構(gòu)看做一種因子分解。大部分隨機(jī)選擇的函數(shù)不能被有效地表示，無(wú)論是用深的或者淺的架構(gòu)。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示。一個(gè)緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。如果不存在任何結(jié)構(gòu)，那將不可能很好地泛化。

優(yōu)勢(shì)

用更多的數(shù)據(jù)或是更好的算法來(lái)提高學(xué)習(xí)算法的結(jié)果。對(duì)某些應(yīng)用而言，深度學(xué)習(xí)在大數(shù)據(jù)集上的表現(xiàn)比其他機(jī)器學(xué)習(xí)(ML)方法都要好(稍后將討論例外情況)。這些又如何轉(zhuǎn)化為現(xiàn)實(shí)生活中的情形呢?深度學(xué)習(xí)更適合無(wú)標(biāo)記數(shù)據(jù)，因而它并不局限于以實(shí)體識(shí)別為主的自然語(yǔ)言處理(NLP)領(lǐng)域。