一個月前，Coursera的共同創辦人、史丹佛大學人工智慧實驗室的主管吳恩達〈Andrew Ng〉宣布加入百度位於矽谷的深度學習研究院（IDL），他說：「我決定將我接下來的這段時間投入到建造更先進的深度學習系統中去。而我認為，百度將是合適的地方。」
上週，吳恩達在加入百度後，首次發表關於深度學習和商業應用的公開演講，在PingWest舉辦的SYNC 2014舊金山大會上，他分享了他對下一代深度學習系統的期待，和他將在百度要做的事情。
深度學習並不只是一個學術概念，它是許多現代科技產品背後的「引擎」，作為核心技術支撐著商業上的應用，比如網絡搜尋、機器翻譯、產品推薦和醫學圖像等，帶來了相當可觀的經濟價值。
一些手機裡，也可以看到「深度學習」的基因。比如每部Android手機上的語音識別功能。上周剛剛發行的Amazon Fire Phone，其所配備的6個攝影鏡頭和商品推薦等功能，也是基於機器學習和深度學習來實現的。
吳恩達說：「許多你聽過的，像我這樣的傢伙分享的和深度學習有關的演講裡，有兩個概念都會被混淆在一起。今天，我要把這兩個大的概念分開來解釋清楚。」
這兩個大的概念指的是，在已標記數據上進行的深度學習（也被稱之為在監管下進行的深度學習，supervised learning），和在未標記的數據上進行的深度學習（unsupervised learning）。
吳恩達和他的團隊在史丹佛實驗室做的實驗，可以清楚地解釋這兩者的區別：早前，他們造了一些機器人，試圖讓機器人找出一個辦公空間內的馬克杯。他們跑遍了舊金山灣區，買來所有他們可以買到的馬克杯，並從各個角度給這些杯子都拍了照片，總共獲得了5萬張馬克杯的照片，並將這些照片都展示給這個機器人訓練它。經過這個實驗後，機器人最終可以在一個辦公空間內，找到所有的馬克杯。
「之所以深度學習可以奏效，是因為在學習被標記的數據上，它的表現很好。」但Andrew馬上說：「我們發現，這和動物及人類學習的還是不同。我相信，即使是最最深沉地愛著自己孩子的父母，也不會跑遍舊金山灣區，找出5萬個馬克杯的照片指認給自己的孩子看，來讓他認識什麼是馬克杯的。人類和動物的學習方式是，進入環境，由我們自己去感受這個環境並學習。」
「跑遍整個舊金山灣區找出的所有馬克杯照片」就是標記數據，而「進入環境，由自己去感受環境」指的則是在未標記數據中進行的學習。
「深度學習」的研究者們又重新回頭借助神經科學審視人類大腦學習的過程。他們發現——人類大腦在看到實物的第一個步驟，是尋找實物的邊緣。幸運的是，來自柏克萊的研究者的實驗表明，複製這個人腦處理視覺早期步驟的過程，是可以被模擬神經網絡所實現的，而且這個「神經網絡」不僅對於圖像識別奏效，對於音頻識別也可以產生相同的結果。現在，吳恩達和他的團隊正在對這一部分的「深度學習算法」進行解析。
從非標記數據中學習——這是現在讓吳恩達感到非常興奮的點，因為這能讓深度學習普及到更多的應用領域，他解釋說：「因為對於許多應用方向而言，我們沒有那麼多標記數據。其二，這更接近人類學習的過程。」
但要完成這部分的工作，單靠學校或是研究機構很難實現，必須要藉助外部的力量，因為所有的實驗結果都指向了這樣一個趨勢：模擬出的神經系統越大，實驗效果越好。2010年，吳恩達加入Google，照他自己的話說，「我上下求索，到處去找誰有最多的電腦、並且還願意讓我使用的？」Google幫助吳恩達開發出了擁有十億個連接單元的「深度學習」系統，吳恩達說：「有了Google我才能造出比原先大百倍的系統。」他所帶來的研究成果也幫助Google開發出了不少商業產品。
但這些算法的應用範圍仍然十分局限，只有像Google這樣的科技巨頭，才擁有這樣的資源，進而擁有這樣的技術。創業公司或者是普通研究學者，並沒有機會在這麼大的模擬神經網絡上，去試驗自己的想法和算法。
「我們真正感興趣的是，如何讓深度學習更加的民主化？」Andrew說。對此，他和他的學生Adam Coates決定用GPU替代CPU，降低造價——GPU是Graphics Processing Unit的縮寫，是用來進行視覺圖像處理的，在每個人的電腦裡都有。
但今天的人工智慧，仍然是一個對資本要求很高的生意，而只有像Google、Baidu這樣以搜索起家的公司，才能提供盡可能多的實驗數據和計算力——這是他選擇加入百度的一個原因。
吳恩達說：「這有點悲哀。你需要大量的數據和電腦，幸運的是，百度有這些東西。其次，百度是一個敏捷的機構，能快速地調配資源去需要的地方。同時，我被我所遇到的人所折服，比如百度美國的總經理Alex Cheng，我的好朋友余凱和張潼，他們多麼的友好、聰明、努力和謙遜。他們願意讓我加入他們和他們合作，我覺得這是我的榮幸。」
加入百度後，現在吳恩達正在著手為下一代的「深度學習系統」搭建基礎設施和準備工具——這也是他讓深度學習民主化的重要一步，他要讓在該領域做研究和想要應用深度學習概念的人們，有一個可使用的系統測試自己的點子。他說：「 我知道下一代的百度深度學習系統不會來自於我個人，我們現在在建造為下一代深度學習系統而準備的工具和基礎設施，來讓研究人員和我們合作，測試點子和進行學習。我想做的是，建立起來基礎設施，讓別人來和我們合作，讓他們成為下一代深度學習領域內的英雄。 」
出自Pingwest
轉貼來源：數位時代
留言列表
