人工智能技術已經發展了數十年了，但直到十多年前，才隨著深度學習技術和相關應用的逐步成熟掀起了新一輪浪潮，矽谷各大科技企業把它視為未來，開啟了轟轟烈烈的"All in AI"轉型。現代人工智能領域有三大奠基人（見下圖），分別是杰弗裡·辛頓(Geoffrey Hinton)、延恩·勒昆(Yann LeCun)、約書亞·本吉奧(Joshua Bengio)。
今天為大家介紹的是被稱為"神經網絡之父"、"深度學習鼻祖"的杰弗裡·辛頓。杰弗裡·辛頓（Geoffrey Hinton），人工智能學界傳奇，愛丁堡大學人工智能的博士、多倫多大學的特聘教授。他將HintonBack Propagation（反向傳播算法）應用到神經網絡與深度學習，他也是深度學習經典網絡AlexNet的提出團隊成員，可以說他的學術生涯貫穿整個深度學習的發展歷史。 2013年辛頓加入谷歌並掛帥了一個AI團隊，深度參與到將神經網絡技術轉化為實際應用的浪潮中，他見證了"深度學習"從邊緣課題變成了谷歌等矽谷各大巨頭仰賴的核心技術，下圖就是杰弗裡·辛頓。
說到辛頓的傳奇，我們可以歸結為三個傳奇，一是家庭背景傳奇，二是求學經歷傳奇，三是治學經歷傳奇。
1、傳奇的家庭背景
1947年末，辛頓出生在戰後的英國倫敦小鎮溫布爾登（Wimbledon），成長於布里斯托爾（ Bristol ）。我們細數一下他傳奇家庭中的"聰明"的成員，他的曾曾祖父是著名的邏輯學家喬治·布爾（ George Boole ），就是赫赫有名的布爾代數（ Boolean algebra ）的發明者，他奠定了現代計算機科學的基礎。他的叔叔是著名的經濟學家科林·克拉克（Colin Clark），發明了"國民生產總值"這個經濟學術語，影響意義深遠。他的父親霍華德·辛頓（Howard Hinton），是個昆蟲學家，非常喜歡研究甲殼蟲，母親Margaret是一位教師。辛頓的兩位堂兄妹在中國很是有名，堂弟叫William Hinton（中文名是韓丁），中國人民老朋友，創作過《翻身》等和中國相關的紀實文學。還有一個堂妹叫Joan Hinton（中文名是寒春），參加過曼哈頓計劃為美國製造原子彈，心懷解放全人類的理想來到了共產主義中國，如果你翻過楊振寧、鄧稼先事蹟，可以看到她的名字。可以說，辛頓一家都流淌著飽含聰明才智的血液。
2、傳奇的求學經歷
在天才家庭出生的辛頓卻是一位非典型的天才，他的求學、尤其是追求人工智能的理想之路走得很不平坦。辛頓與人工智能結緣很早，他的自述早在60年代他念高中時，無意間聽到了人腦信息存儲的全息圖機制，如同他的前輩皮茨和麥卡諾克等學者研究的神經網絡以及信息如何在大腦中存儲記憶的猜想那樣（參考機器學習中的函數（1）- 激活函數和感知機），辛頓也為此深深的著迷，他形容到這是他一生的關鍵時刻，也是他一生成功的起點。
辛頓比許多同年人都要聰明，當他高中畢業進入劍橋的國王學院攻讀物理和化學，不過僅讀了一個月後就退學了，他解釋到"我那時候18歲，第一次離開家自己生活，感到有些壓抑"。一年之後，他再次申請攻讀建築學，結果在建築系僅僅上了一天課，又決定轉學讀物理學和生理學，後來發現物理數學還是不適合自己，又再次退學。此後，他再改讀哲學，但卻和他的導師發生了激烈的爭吵，最後他選擇研讀心理學。直到1970年，辛頓終於以劍橋大學國王學院實驗心理學學士身份畢業。後來辛頓自己都自嘲："我想我可能有一種教育上的多動症，無法安安靜靜的學習"。大學畢業後，辛頓搬到了北倫敦的伊斯靈頓區居住，為了生計他成為一個木匠，過著混亂、有點潦倒的日子。
可能環境有時候會起相反的作用，在離開大學校園最好最安靜的學習環境之後，辛頓反而能夠平靜地追求他所嚮往的機器模擬人類大腦來。每個星期六早上，他都會去伊斯靈頓的埃塞克斯路圖書館，靠著圖書館裡的資料自學了解大腦的工作原理，這樣的平淡日子過了兩年後，辛頓反而又通過發表論文和參加學術會議，重新折騰回學術圈，這也是辛頓"叛逆"心態的體現。從1972年開始，辛頓從一個木匠，重新變回一位學者，進入愛丁堡大學攻讀博士學位，而且還是師從大化學家克里斯多福·希金斯（Christopher Higgins）教授，他選擇的研究方向自然就是神經網絡。辛頓重新回到了他自己的軌道上。
3、治學經歷傳奇
在人工智能起起伏伏的發展歷史中，深度學習運動一度被認為是學術界的一個異類，辛頓等人是如何堅持了幾十年的時間，締造了深度學習的複興？
我們回到辛頓本科時期，當他在劍橋學習心理學，他意識到科學家們並沒有真正理解大腦，"沒有掌握數十億神經元之間的交互以及如何提升智力的"，這些科學家可以解釋電信號沿著一個軸突連接一個神經元到另一個，但他們無法解釋這些神經元是如何學習或計算的。辛頓認為這些都是大問題，他相信這些問題的答案可能最終讓我們實現1950年代人工智能起步階段那些研究人員的夢想。雖然他也沒有答案，但他決心用盡畢生之力尋找答案。
辛頓說"當我們發現一種可以使神經網絡變得更好的方法，尤其是這種方法能夠揭示大腦是如何工作的時候，我就非常興奮。"不管外界怎麼不看好這個技術方向，但是辛頓永遠洋溢著青春的熱情。他相信通過改進人工神經網絡可以收集信息，並且能夠做出反應，它們可以理解東西看起來什麼樣或聽起來像什麼，可以讓你在做決定的時候會變得更加聰明，這是傳統的的機器學習工具做不到的。早在80年代初，當辛頓和同事開始這個想法時，那時的電腦性能還遠遠不能處理神經網絡需要的巨大數據集，成功是有限的，隨後人工智能學界逐漸拋棄了他們，轉而去尋找類人腦的捷徑。根據辛頓回憶，那段日子極為艱難，直到2004年，這已經是辛頓他們第一次開發"反向傳播"算法神經網絡20年之後了。在被學術界輕視了二十年後，他們才從加拿大先進項目研究所（CIFAR）拿到的極少量資金，並在LeCun以及Bengio 的支持下，辛頓建立了神經計算和自適應感知項目。辛頓全力邀請一些計算機科學家、生物學家、電氣工程師、神經科學家、物理學家和心理學家參與這個項目，致力於創建模擬生物智能的模型，模擬大腦如何篩選大量的視覺、聽覺以及書麵線索來理解和應對它的環境。辛頓希望通過建立這樣一個組織會刺激人工智能領域的創新，甚至改變世界，後來的事實證明他是對的。
辛頓曾感慨自己的學術生涯就像人工神經網絡（ANN）一樣起起伏伏，但幸運的是，他一直堅持著對人工神經網絡的研究，特別是在那二十多年的人工智能寒冬期。 2010年後，不但是學界， Google這樣的互聯網公司也開始關注他們。後來，辛頓加入Google公司，繼續推進他在CIFAR啟動的項目，並更多地和實際應用結合。現在深度學習是主流，辛頓說"我們不再是極端分子了，我們現在可是炙手可熱的核心技術呢。"辛頓也周遊世界並為深度學習積極佈道，他有一個習慣就是喜歡突然大喊： "我現在理解大腦是如何工作的了！"這很有感染力。
4、辛頓的高光時刻
我們一起回顧幾個辛頓在人工智能學術領域的高光時刻
推動BP算法，掀起深度學習第二次浪潮
上世紀70年代多層人工神經網絡出現後，面臨重大的挑戰性是增加神經網絡的層數雖然可為其提供更大的靈活性，讓網絡能解決更多的問題，但隨之而來的數量龐大的網絡參數的訓練，這是製約多層神經網絡發展的一個重要瓶頸。這時誤差逆傳播（error BackPropagation，BP）算法出現了，參考機器學習中的函數（3） - "梯度下降"走捷徑，"BP算法"提效率。現在提及BP算法時，常常把保羅·沃伯斯（PaulWerbos）稱作BP算法的提出者，杰弗裡·辛頓稱作BP算法的推動者。 1986年，辛頓聯合同事大衛·魯姆哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams），發表了一篇突破性的論文，詳細介紹了一種叫作"反向傳播"（backpropagation）的技術。通過優化人工神經網絡的計算方式，反向傳播可以糾正很多深度學習模型在訓練時產生的計算錯誤，這種機制極大提高了人工神經網絡的性能。因此，反向傳播算法對現有人工智能影響很大，《麻省科技評論》這樣定義"今天的AI 就是深度學習，而深度學習就是建立在反向傳播機制之上的。"然而提出反向傳播算法之後，辛頓並沒有迎來事業的蓬勃發展，受限於當時的計算機能力，深度學習的研究進入了又一次的寒冬期。
再定義深度學習，掀起深度學習第三次浪潮
2006年，辛頓及其學生Salakhutdinov發表了著名的論文《Reducing the Dimensionality of Data with Neural Networks》，標誌著深度學習的正式複興，也掀起深度學習的第三次浪潮，機器學習全面進入深度學習時期。此時，深度神經網絡已經優於與之競爭的其他機器學習的技術以及手工設計功能的AI系統。而在此之後，伴隨著數據量的爆炸式增長與計算能力的與日俱增，深度學習得到了進一步的發展，幾經起伏後深度學習終於走上前台。
提出Alexnet，深度學習開始走向繁榮期
深度學習歷史上，AlexNet當屬經典中的經典。 AlexNet出現之前，深度學習計算還沒有機會在實際應用中展示他強大的能力。終於在2012年，辛頓和他的博士生Alex Krizhevsky等提出了AlexNet，並一舉拿下當時ImageNet比賽的冠軍。相比於前一年的冠軍，Top-5的錯誤率一下子下降了10個百分點，遠遠超過當年的第二名（26.2%），可見其功力非同一般，從而也確立了深度卷積神經網絡在計算機視覺領域的統治地位。 Alexnet強化了典型CNN的架構，應用到更深更寬的網絡中，由於它的出現，人們更加相信深度學習可以被應用於機器視覺領域，點燃了深度學習的熱情，深度學習很快進入了一個繁榮期（參考機器學習中的函數（5） - "算法、算力，數據"已齊備，深度學習走入舞台中心）
今天我們分享了辛頓的傳奇人生，從他在人工智能領域起起伏伏的經歷中，我們能感受到，在寒冬之中，很多堅持是必要、很多堅持是珍貴的、很多堅持是值得的。
没有评论:
发表评论