深度學習

    深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學習是無監(jiān)督學習的一種。 深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度

從一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖(flow graph)來表示:流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算并且一個計算的值(計算的結果被應用到這個節(jié)點的孩子節(jié)點的值)?？紤]這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結構中，并定義了一個函數(shù)族。輸入節(jié)點沒有父親，輸出節(jié)點沒有孩子。

這種流向圖的一個特別屬性是深度(depth):從一個輸入到一個輸出的最長路徑的長度。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡能夠被看做擁有等于層數(shù)的深度(比如對于輸出層為隱層數(shù)加1)。SVMs有深度2(一個對應于核輸出或者特征空間，另一個對應于所產(chǎn)生輸出的線性混合)。

解決問題

需要使用深度學習解決的問題有以下的特征:

1.深度不足會出現(xiàn)問題。

2.人腦具有一個深度結構。

3.認知過程逐層進行，逐步抽象。

在許多情形中深度2就足夠表示任何一個帶有給定目標精度的函數(shù)。但是其代價是:圖中所需要的節(jié)點數(shù)(比如計算和參數(shù)數(shù)量)可能變的非常大。理論結果證實那些事實上所需要的節(jié)點數(shù)隨著輸入的大小指數(shù)增長的函數(shù)族是存在的。

我們可以將深度架構看做一種因子分解。大部分隨機選擇的函數(shù)不能被有效地表示，無論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。一個緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結構。如果不存在任何結構，那將不可能很好地泛化。

優(yōu)勢

用更多的數(shù)據(jù)或是更好的算法來提高學習算法的結果。對某些應用而言，深度學習在大數(shù)據(jù)集上的表現(xiàn)比其他機器學習(ML)方法都要好(稍后將討論例外情況)。這些又如何轉化為現(xiàn)實生活中的情形呢?深度學習更適合無標記數(shù)據(jù)，因而它并不局限于以實體識別為主的自然語言處理(NLP)領域。