大數(shù)據(jù)文摘出品

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的馬村網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

來源：datasciencecentral

編譯：Min

我們被困住了，或者說至少我們已經(jīng)停滯不前了。有誰還記得上一次一年沒有在算法、芯片或數(shù)據(jù)處理方面取得重大顯著進(jìn)展是什么時候?幾周前去參加Strata San Jose會議，卻沒有看到任何吸引眼球的新進(jìn)展，這太不尋常了。

正如我之前所報告的那樣，似乎我們已經(jīng)進(jìn)入了成熟期，現(xiàn)在我們的主要工作目標(biāo)是確保我們所有強(qiáng)大的新技術(shù)能夠很好地結(jié)合在一起(融合平臺)，或者從那些大規(guī)模的VC投資中賺取相同的錢。

我不是唯一一個注意到這些的人。幾位與會者和參展商都和我說了非常類似的話。而就在前幾天，我收到了一個由知名研究人員組成的團(tuán)隊的說明，他們一直在評估不同高級分析平臺的相對優(yōu)點，并得出結(jié)論：沒有任何值得報告的差異。

我們?yōu)槭裁春驮谀睦锵萑肜Ь?

我們現(xiàn)在所處的位置其實并不差。我們過去兩三年的進(jìn)步都是在深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)領(lǐng)域。深度學(xué)習(xí)在處理語音、文本、圖像和視頻方面給我們帶來了了不起的能力。再加上強(qiáng)化學(xué)習(xí)，我們在游戲、自主車輛、機(jī)器人等方面都有了很大的進(jìn)步。

我們正處于商業(yè)爆炸的最早階段，基于諸如通過聊天機(jī)器人與客戶互動來節(jié)省大量資金、個人助理和Alexa等新的個人便利應(yīng)用、個人汽車中的二級自動化，比如自適應(yīng)巡航控制、事故避免制動和車道維護(hù)。

Tensorflow、Keras和其他深度學(xué)習(xí)平臺比以往任何時候都更容易獲得，而且由于GPU的存在，比以往任何時候都更高效。

但是，已知的缺陷清單根本沒有解決：

需要太多標(biāo)簽化的訓(xùn)練數(shù)據(jù)。 模型的訓(xùn)練時間太長或者需要太多昂貴的資源，而且還可能根本無法訓(xùn)練。 超參數(shù)，尤其是圍繞節(jié)點和層的超參數(shù)，仍然是神秘的。自動化甚至是公認(rèn)的經(jīng)驗法則仍然遙不可及。 遷移學(xué)習(xí)，意味著只能從復(fù)雜到簡單，而不是從一個邏輯系統(tǒng)到另一個邏輯系統(tǒng)。

我相信我們可以列一個更長的清單。正是在解決這些主要的缺點方面，我們已經(jīng)陷入了困境。

是什么阻止了我們

在深度神經(jīng)網(wǎng)絡(luò)中，目前的傳統(tǒng)觀點是，只要我們不斷地推動，不斷地投資，那么這些不足就會被克服。例如，從80年代到00年代，我們知道如何讓深度神經(jīng)網(wǎng)絡(luò)工作，只是我們沒有硬件。一旦趕上了，那么深度神經(jīng)網(wǎng)絡(luò)結(jié)合新的開源精神，就會打開這個新的領(lǐng)域。

所有類型的研究都有自己的動力。特別是一旦你在一個特定的方向上投入了大量的時間和金錢，你就會一直朝著這個方向前進(jìn)。如果你已經(jīng)投入了多年的時間來發(fā)展這些技能的專業(yè)知識，你就不會傾向于跳槽。

改變方向，即使你不完全確定應(yīng)該是什么方向。

有時候我們需要改變方向，即使我們不知道這個新方向到底是什么。最近，領(lǐng)先的加拿大和美國AI研究人員做到了這一點。他們認(rèn)為他們被誤導(dǎo)了，需要從本質(zhì)上重新開始。

這一見解在去年秋天被Geoffrey Hinton口頭表達(dá)出來，他在80年代末啟動神經(jīng)網(wǎng)絡(luò)主旨研究的過程中功不可沒。Hinton現(xiàn)在是多倫多大學(xué)的名譽(yù)教授，也是谷歌的研究員，他說他現(xiàn)在 深深地懷疑 反向傳播，這是DNN的核心方法。觀察到人腦并不需要所有這些標(biāo)簽數(shù)據(jù)來得出結(jié)論，Hinton說 我的觀點是把這些數(shù)據(jù)全部扔掉，然后重新開始。

因此，考慮到這一點，這里是一個簡短的調(diào)查，這些新方向介于確定可以實現(xiàn)和幾乎不可能實現(xiàn)之間，但不是我們所知道的深度神經(jīng)網(wǎng)的增量改進(jìn)。

這些描述有意簡短，無疑會引導(dǎo)你進(jìn)一步閱讀以充分理解它們。

看起來像DNN卻不是的東西

有一條研究路線與Hinton的反向傳播密切相關(guān)，即認(rèn)為節(jié)點和層的基本結(jié)構(gòu)是有用的，但連接和計算方法需要大幅修改。

我們從Hinton自己目前新的研究方向——CapsNet開始說起是很合適的。這與卷積神經(jīng)網(wǎng)絡(luò)的圖像分類有關(guān)，問題簡單來說，就是卷積神經(jīng)網(wǎng)絡(luò)對物體的姿勢不敏感。也就是說，如果要識別同一個物體，在位置、大小、方向、變形、速度、反射率、色調(diào)、紋理等方面存在差異，那么必須針對這些情況分別添加訓(xùn)練數(shù)據(jù)。

在卷積神經(jīng)網(wǎng)絡(luò)中，通過大量增加訓(xùn)練數(shù)據(jù)和(或)增加池化層來處理這個問題，這些層可以泛化，但只是損失實際信息。

下面的描述是眾多優(yōu)秀的CapsNets技術(shù)描述之一，該描述來自Hackernoon。

Capsule是一組嵌套的神經(jīng)層。在普通的神經(jīng)網(wǎng)絡(luò)中，你會不斷地添加更多的層。在CapsNet中，你會在一個單層內(nèi)增加更多的層。或者換句話說，把一個神經(jīng)層嵌套在另一個神經(jīng)層里面。capsule里面的神經(jīng)元的狀態(tài)就能捕捉到圖像里面一個實體的上述屬性。一個膠囊輸出一個向量來代表實體的存在。向量的方向代表實體的屬性。該向量被發(fā)送到神經(jīng)網(wǎng)絡(luò)中所有可能的父代。預(yù)測向量是基于自身權(quán)重和權(quán)重矩陣相乘計算的。哪個父代的標(biāo)量預(yù)測向量乘積，哪個父代就會增加膠囊的結(jié)合度。其余的父代則降低其結(jié)合度。這種通過協(xié)議的路由方式優(yōu)于目前的max-pooling等機(jī)制。

CapsNet極大地減少了所需的訓(xùn)練集，并在早期測試中顯示出卓越的圖像分類性能。

多粒度級聯(lián)森林

2月份，我們介紹了南京大學(xué)新型軟件技術(shù)國家重點實驗室的周志華和馮霽的研究，展示了他們稱之為多粒度級聯(lián)森林的技術(shù)。他們的研究論文顯示，多粒度級聯(lián)森林在文本和圖像分類上都經(jīng)常擊敗卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。效益相當(dāng)顯著。

只需要訓(xùn)練數(shù)據(jù)的一小部分。 在您的桌面CPU設(shè)備上運行，無需GPU。 訓(xùn)練速度一樣快，在許多情況下甚至更快，適合分布式處理。 超參數(shù)少得多，在默認(rèn)設(shè)置下表現(xiàn)良好。 依靠容易理解的隨機(jī)森林，而不是完全不透明的深度神經(jīng)網(wǎng)。

簡而言之，gcForest(多粒度級聯(lián)森林)是一種決策樹集合方法，其中保留了深網(wǎng)的級聯(lián)結(jié)構(gòu)，但不透明的邊緣和節(jié)點神經(jīng)元被隨機(jī)森林組與完全隨機(jī)的樹林配對取代。在我們的原文中閱讀更多關(guān)于gcForest的內(nèi)容。

Pyro and Edward

Pyro和Edward是兩種新的編程語言，它們?nèi)诤狭松疃葘W(xué)習(xí)框架和概率編程。Pyro是Uber和Google的作品，而Edward則來自哥倫比亞大學(xué)，由DARPA提供資金。其結(jié)果是一個框架，允許深度學(xué)習(xí)系統(tǒng)衡量他們對預(yù)測或決策的信心。

在經(jīng)典的預(yù)測分析中，我們可能會通過使用對數(shù)損失作為健身函數(shù)來處理這個問題，懲罰有信心但錯誤的預(yù)測(假陽性)。到目前為止，還沒有用于深度學(xué)習(xí)的必然結(jié)果。

例如，這有望使用的地方是在自動駕駛汽車或飛機(jī)中，允許控制在做出關(guān)鍵或致命的災(zāi)難性決定之前有一些信心或懷疑感。這當(dāng)然是你希望你的自主Uber在你上車之前就知道的事情。

Pyro和Edward都處于開發(fā)的早期階段。

不像深網(wǎng)的方法

我經(jīng)常會遇到一些小公司，他們的平臺核心是非常不尋常的算法。在我追問的大多數(shù)案例中，他們都不愿意提供足夠的細(xì)節(jié)，甚至讓我為你描述里面的情況。這種保密并不能使他們的效用失效，但是在他們提供一些基準(zhǔn)和一些細(xì)節(jié)之前，我無法真正告訴你里面發(fā)生了什么。當(dāng)他們最終揭開面紗的時候，就把這些當(dāng)作我們未來的工作臺吧。

目前，我所調(diào)查的最先進(jìn)的非DNN算法和平臺是這樣的。

層次時間記憶(HTM)

層次時間記憶(HTM)使用稀疏分布式表示法(SDR)對大腦中的神經(jīng)元進(jìn)行建模，并進(jìn)行計算，在標(biāo)量預(yù)測(商品、能源或股票價格等未來值)和異常檢測方面優(yōu)于CNN和RNN。

這是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉獻(xiàn)作品?；艚鹚乖趯Υ竽X功能進(jìn)行基礎(chǔ)研究的基礎(chǔ)上，追求的是一種強(qiáng)大的人工智能模型，而不是像DNN那樣用層和節(jié)點來結(jié)構(gòu)。

HTM的特點是，它發(fā)現(xiàn)模式的速度非?？?，只需1,000次觀測。這與訓(xùn)練CNN或RNN所需的幾十萬或幾百萬次的觀測相比，簡直是天壤之別。

此外，模式識別是無監(jiān)督的，并且可以根據(jù)輸入的變化來識別和概括模式的變化。這使得系統(tǒng)不僅訓(xùn)練速度非?？?，而且具有自學(xué)習(xí)、自適應(yīng)性，不會被數(shù)據(jù)變化或噪聲所迷惑。

一些值得注意的漸進(jìn)式改進(jìn)

我們開始關(guān)注真正的游戲改變者，但至少有兩個漸進(jìn)式改進(jìn)的例子值得一提。這些顯然仍然是經(jīng)典的CNN和RNNs，具有反向支撐的元素，但它們工作得更好。

(1) 使用Google Cloud AutoML進(jìn)行網(wǎng)絡(luò)修剪

谷歌和Nvidia的研究人員使用了一種名為網(wǎng)絡(luò)修剪的過程，通過去除對輸出沒有直接貢獻(xiàn)的神經(jīng)元，讓神經(jīng)網(wǎng)絡(luò)變得更小，運行效率更高。這一進(jìn)步最近被推出，作為谷歌新的AutoML平臺性能的重大改進(jìn)。

(2) Transformer

Transformer是一種新穎的方法，最初在語言處理中很有用，比如語言到語言的翻譯，這一直是CNNs、RNNs和LSTMs的領(lǐng)域。去年夏末由谷歌大腦和多倫多大學(xué)的研究人員發(fā)布，它在各種測試中都表現(xiàn)出了顯著的準(zhǔn)確性改進(jìn)，包括這個英語/德語翻譯測試。

RNNs的順序性使其更難充分利用現(xiàn)代快速計算設(shè)備(如GPU)，因為GPU擅長的是并行而非順序處理。CNN比RNN的順序性要差得多，但在CNN架構(gòu)中，隨著距離的增加，將輸入的遠(yuǎn)端部分的信息組合起來所需的步驟數(shù)仍然會增加。

準(zhǔn)確率的突破來自于 自注意功能 的開發(fā)，它將步驟大幅減少到一個小的、恒定的步驟數(shù)。在每一個步驟中，它都應(yīng)用了一種自我關(guān)注機(jī)制，直接對一句話中所有詞之間的關(guān)系進(jìn)行建模，而不管它們各自的位置如何。

就像VC說的那樣，也許是時候該換換口味了。

相關(guān)報道：https://www.datasciencecentral.com/profiles/blogs/what-comes-after-deep-learning

網(wǎng)頁標(biāo)題：深度學(xué)習(xí)之后會是啥？
網(wǎng)頁網(wǎng)址：http://m.newbst.com/article48/cggihp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、品牌網(wǎng)站制作、App設(shè)計、靜態(tài)網(wǎng)站、微信公眾號、網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)