中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

現(xiàn)在搞AI的公司，不管用什么樣的算法，都想讓自己跟深度學(xué)習(xí)扯上點(diǎn)關(guān)系，因?yàn)檫@樣好像顯得逼格夠高。目前比較前沿的語音交互、計(jì)算機(jī)視覺等，就連神壇的Alpha Go的算法都是用深度學(xué)習(xí)。那究竟深度學(xué)習(xí)是什么？到底有多強(qiáng)大？要怎么實(shí)現(xiàn)？本文就跟大家一起討論下。

在看接下來的內(nèi)容之前，如果對(duì)機(jī)器學(xué)習(xí)還不了解的同學(xué)，可以先看下這篇《想入門AI，機(jī)器學(xué)習(xí)你知多少了？》——介紹了機(jī)器學(xué)習(xí)的整體框架，機(jī)器學(xué)習(xí)的步驟，深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系，還有比較詳細(xì)的介紹了為什么會(huì)需要人工神經(jīng)網(wǎng)絡(luò)?？赐暌陨系奈恼略賮碛懻摻裉斓膬?nèi)容可能會(huì)更容易理解。

好了，我們言歸正傳。

以下就是我們本次需要談?wù)摰膬?nèi)容：

?01 深度學(xué)習(xí)一些有趣的應(yīng)用

1. Face 2 Face

Face2Face是斯坦福大學(xué)等學(xué)生做的一款應(yīng)用軟件，這套系統(tǒng)能夠利用人臉捕捉技術(shù)，讓你說話的聲音、表情、動(dòng)作，投射到視頻中的另一個(gè)人臉色。

如上圖所示，左上角是特蘭普演講的視頻，左下角是模仿者在說話，經(jīng)過系統(tǒng)處理后，特蘭普的表情和聲音就變成了模仿者的表情和聲音。（大家可以搜下網(wǎng)上的視頻，挺有意思的）

2. 靈魂畫家

這個(gè)大家可能也見過，就是在原來的圖片上，加上了另外一個(gè)圖片的風(fēng)格特點(diǎn)。

如上圖所示，一張蒙娜麗莎的畫，加上了梵高畫的特征，就變成了如右邊所示的圖片。

3. AlphaGo

這個(gè)大家就更熟悉了，2016年3月，AlphaGo與圍棋世界冠軍棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。

通過上面的例子大家可以看到，深度學(xué)習(xí)的應(yīng)用非常的廣泛，小到很有趣的表情投影，大到圍棋人機(jī)大戰(zhàn)。也就是說深度學(xué)習(xí)的空間很廣，想做一個(gè)深度學(xué)習(xí)的產(chǎn)品也不是我們想象中的那么深?yuàn)W，但是要想做得特別強(qiáng)大還是會(huì)有很多困難的。

那深度學(xué)習(xí)究竟是什么，接下來就和大家詳細(xì)討論下。

02 什么才是深度學(xué)習(xí)？

在講深度學(xué)習(xí)之前，我們先要知道什么是神經(jīng)網(wǎng)絡(luò)，而在講神經(jīng)網(wǎng)絡(luò)之前，我們還得先知道什么是神經(jīng)元。

1. 神經(jīng)元

假設(shè)設(shè)置函數(shù)：Z（x）=W1X1 + W2X2 + W3X3 +…+WnXn + b，（是不是很眼熟，跟我們之前說到的線性方程很相識(shí)，不知道這個(gè)由來的話，再次建議先看下前面提到的文章）。

則神經(jīng)元的表示如下：

每一個(gè)神經(jīng)元就是一個(gè)邏輯回歸算法。什么是邏輯回歸算法，可以參考這篇文章《機(jī)器學(xué)習(xí)之邏輯回歸》，在此就不展開講了。

2. 神經(jīng)網(wǎng)絡(luò)

多個(gè)神經(jīng)元相互連接就組成了神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元都通過接收前一層網(wǎng)絡(luò)傳遞來的信息，經(jīng)過處理后，再傳遞給下一層。

按結(jié)構(gòu)來分，神經(jīng)網(wǎng)絡(luò)由：輸入層、隱藏層和輸出層組成。

• 輸入層：即原始的特征輸入。
• 隱藏層：除輸入層和輸出層外，其他的就是隱藏層。
• 輸出層：后面不再接其他神經(jīng)元。

3. 深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的關(guān)系

定義：有多層網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，我們就說是深度學(xué)習(xí)。

那有多少層才算是深度學(xué)習(xí)呢？

現(xiàn)在也沒有一個(gè)官方的定義，有的人說3層，有的人說5層才算深度網(wǎng)絡(luò)，多的高達(dá)上百層，反正大家都說自己是在做深度學(xué)習(xí)，這樣看起來會(huì)比較高大尚點(diǎn)。

模組化：深度學(xué)習(xí)有一個(gè)非常重要的思想就是模組化。

那什么是模組化思想呢？

就像我們玩搭積木，一堆積木可以搭成各種各樣形狀的東西，而深度學(xué)習(xí)的每一層都是一個(gè)組件，可以供其他層靈活調(diào)用。

下面用一個(gè)例子說明：

假設(shè)我們要做一個(gè)圖像識(shí)別，區(qū)分出4類人群：長頭發(fā)的女生、短頭發(fā)的女生、長頭發(fā)的男生、短頭發(fā)的男生。

非模組化的思路：

要設(shè)計(jì)4個(gè)基礎(chǔ)的分類器：長發(fā)女、短發(fā)女、長發(fā)男、短發(fā)男，然后就需要找4類型這樣的圖片去訓(xùn)練機(jī)器。但現(xiàn)實(shí)中的問題可能是長頭發(fā)的男生會(huì)比較少，因此訓(xùn)練出來的效果可能就不是很好。

模組化的思路：

我們可以先訓(xùn)練好兩個(gè)基礎(chǔ)模型：區(qū)分男女的分類器、區(qū)分長短頭發(fā)的分類器，這樣我們就可以有足夠好的數(shù)據(jù)去訓(xùn)練好這兩個(gè)分類器。

然后，在下一層區(qū)分長發(fā)女、短發(fā)女、長發(fā)男、短發(fā)男的分類器中，我們就可以直接調(diào)用前面的模塊的輸出組合了。

模組化的好處：

• 充分利用數(shù)據(jù)，比較少的數(shù)據(jù)就可以訓(xùn)練出比較好的模型。
• 訓(xùn)練時(shí)間短，拆分一個(gè)模組一個(gè)模組的訓(xùn)練的效率要比一坨訓(xùn)練高。
• 靈活調(diào)用，訓(xùn)練好一個(gè)模組的時(shí)候，可以供多個(gè)地方共有參數(shù)。

03 深度學(xué)習(xí)需要怎么做？

其實(shí)這三步跟我們之前討論的線性回歸的差不多，先定義好模型，然后定義出代價(jià)函數(shù)，最后用數(shù)據(jù)訓(xùn)練，找出最優(yōu)的參數(shù)。主要的不同點(diǎn)是在第一步，怎么定義網(wǎng)絡(luò)架構(gòu)。

1. 定義網(wǎng)絡(luò)架構(gòu)

在定義網(wǎng)絡(luò)架構(gòu)時(shí)，需要考慮幾個(gè)問題：

1. 輸入是什么？
2. 輸出是什么？
3. 選擇多少層網(wǎng)絡(luò)？
4. 每一層有多少個(gè)神經(jīng)元？
5. 層與層之間要怎么連接的？

如何選擇輸入、輸出？

以手寫數(shù)字辨識(shí)為例說明：

假設(shè)我們要辨識(shí)一張像素是16*16=256的手寫數(shù)字圖片，那每一個(gè)像素點(diǎn)就是一個(gè)特征變量X，因此輸入就是：X1、X2、X3、X4、…、X256。輸出就是0-9十個(gè)數(shù)字的概率，然后根據(jù)概率最大是那個(gè)數(shù)字預(yù)測結(jié)果。

上圖，分別輸出了是數(shù)字0-9的概率，而是2的概率最大是0.9，因此機(jī)器覺得，這個(gè)數(shù)字就是2。

如何選擇網(wǎng)絡(luò)架構(gòu)？

最常見的就是全連接，通過訓(xùn)練再逐步把參數(shù)為0的剔除掉。再厲害點(diǎn)的話就是，讓機(jī)器自己去學(xué)習(xí)然后決定用多少層，怎么去連接。

實(shí)現(xiàn)同一個(gè)功能，可能網(wǎng)絡(luò)架構(gòu)的選擇可以是不一樣，沒有一個(gè)唯一的標(biāo)準(zhǔn)。

2. 定義什么是最好的（定義代價(jià)函數(shù)）

在第一步搭建好神經(jīng)網(wǎng)絡(luò)架構(gòu)之后，接下來要做的事情就是確定最優(yōu)的參數(shù)。

如上圖所示，我們要確定一個(gè)模型，就是確定每個(gè)神經(jīng)元紅框內(nèi)這些參數(shù)的值。

我們?cè)谀Ｐ洼斎胍粋€(gè)數(shù)據(jù)，就會(huì)得到一個(gè)預(yù)測值，假設(shè)預(yù)測值與真實(shí)值的誤差為L，那輸入所有訓(xùn)練數(shù)據(jù)的誤差就是：總L=L1 + L2 + L3 + L4 + … + Ln。

備注：上圖的X1不是指單個(gè)特征詳細(xì)，而是指輸入的第一張圖片，每張圖片都有256個(gè)特征向量值。

當(dāng)總誤差最小時(shí)（總L最小時(shí)），得到的參數(shù)就是我們認(rèn)為最好的參數(shù)，因此這就是我們定義什么是最好的。

3. 找出最優(yōu)模型（求出最優(yōu)解）

假設(shè)我們的總誤差是一條如上圖的曲線，那我們要怎么找到她的最小值呢？

求最小值，常見的方法是梯度下降。什么是梯度下降呢？

類比例子：

假設(shè)你現(xiàn)在在大山的某處，你的目標(biāo)是要到達(dá)山的最低谷處，那你需要做事情有兩步：

1. 根據(jù)當(dāng)前位置，選擇一個(gè)向低處的方向。
2. 根據(jù)選擇的方向，走一段距離，再停下來選擇方向。

不斷的重復(fù)以上的兩步，最終你可能走到山的最底處。

這里有兩個(gè)需要注意的點(diǎn)：

• 你根據(jù)什么來選擇方向？
• 你走多長距離再停下來選擇方向？如果你選擇的距離很小的話，那可能不知道走到猴年馬月你才能走到最低，但是如果你選擇的距離很長的話，有可能你走了最低點(diǎn)還不知道。

那梯度下降也是用同樣的思想來找到最小值的，分兩步：

1. 選方向：在誤差函數(shù)曲線上，隨機(jī)取一個(gè)點(diǎn)，然后求導(dǎo)，根據(jù)導(dǎo)數(shù)的正負(fù)，決定移動(dòng)的方向。
2. 選擇步長：學(xué)習(xí)率的參數(shù)決定步長。

具體梯度下降是怎么實(shí)現(xiàn)的，可以參考這篇文章《機(jī)器學(xué)習(xí)之線性回歸》，有講到梯度下降的方法，在此就不展開講了。

當(dāng)然梯度下降只是求解最小值最常用的方法而已，還有其他求最小值的方法，比如：標(biāo)準(zhǔn)函數(shù)法等，感興趣的同學(xué)可以去了解下。

4. 深度學(xué)習(xí)的典型代表

在深度學(xué)習(xí)領(lǐng)域有兩個(gè)典型的代表：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。

• 卷積神經(jīng)網(wǎng)絡(luò)被廣泛的應(yīng)用在計(jì)算機(jī)視覺領(lǐng)域，比如說強(qiáng)大的AlphaGo就有用到卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。
• 循環(huán)神經(jīng)網(wǎng)絡(luò)則被廣泛的應(yīng)用在語音識(shí)別處理領(lǐng)域，比如說百度翻譯、網(wǎng)絡(luò)音樂生產(chǎn)等。

具體卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)是什么？具體的結(jié)構(gòu)是怎樣的？又是怎么運(yùn)行的？都應(yīng)用在哪些產(chǎn)品上？我會(huì)寫兩篇文章分別單獨(dú)介紹，感興趣的同學(xué)可以持續(xù)關(guān)注。

04 深度學(xué)習(xí)的優(yōu)缺點(diǎn)和面臨的困境

優(yōu)點(diǎn)

深度學(xué)習(xí)能讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)出模式特征，并將特征學(xué)習(xí)的特征融入到建模的過程中，從而減少了人為設(shè)計(jì)特征造成的不完備性。而目前有些深度學(xué)習(xí)，已經(jīng)達(dá)到了超越現(xiàn)有算法的識(shí)別或分類性能。

缺點(diǎn)

• 需要大數(shù)據(jù)支撐，才能達(dá)到高精度。
• 由于深度學(xué)習(xí)中圖模型比較復(fù)雜，導(dǎo)致算法的時(shí)間復(fù)雜度急劇提升，需要更好的硬件支持。因此，只有一些經(jīng)濟(jì)實(shí)力比較強(qiáng)大的科研機(jī)構(gòu)或企業(yè)，才能夠用深度學(xué)習(xí)來做一些前沿而實(shí)用的應(yīng)用。

面臨挑戰(zhàn)

Marcus 在 2018 年對(duì)深度學(xué)習(xí) 的作用、局限性和本質(zhì)進(jìn)行了重要的回顧。他強(qiáng)烈指出了 DL 方法的局限性——即需要更多的數(shù)據(jù)，容量有限，不能處理層次結(jié)構(gòu)，無法進(jìn)行開放式推理，不能充分透明，不能與先驗(yàn)知識(shí)集成，不能區(qū)分因果關(guān)系。

他還提到，DL 假設(shè)了一個(gè)穩(wěn)定的世界，以近似方法實(shí)現(xiàn)，工程化很困難，并且存在著過度炒作的潛在風(fēng)險(xiǎn)。

Marcus 認(rèn)為：DL 需要重新概念化，并在非監(jiān)督學(xué)習(xí)、符號(hào)操作和混合模型中尋找可能性，從認(rèn)知科學(xué)和心理學(xué)中獲得見解，并迎接更大膽的挑戰(zhàn)。

好了，關(guān)于深度學(xué)習(xí)的介紹就到此結(jié)束了，如有錯(cuò)漏歡迎批評(píng)指正。

本文由 @Jimmy 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。