首頁熱門文章
遞歸神經(jīng)網(wǎng)絡(luò)之父：AI下一輪革命的核心是“人工好奇心”
發(fā)布時間：2019-08-29 分類：趨勢研究 來源：澎湃新聞
“通過在小行星帶及其以外的無數(shù)自復(fù)制機(jī)器人工廠，人工智能將改變太陽系，然后在數(shù)十萬年內(nèi)改變整個銀河系，并在數(shù)百億年內(nèi)改變可達(dá)宇宙的剩余部分，只有光速的限制能夠阻止。”
“宇宙依然年輕，它還會比現(xiàn)在老很多倍。我們應(yīng)該還有大量的時間去擴(kuò)展人工智能的領(lǐng)域來實(shí)現(xiàn)并轉(zhuǎn)換它的所有內(nèi)容。展望未來，宇宙將比現(xiàn)在老一千倍，然后，宇宙回首過去，說：‘幾乎就在大爆炸之后，就在140億年之后，整個宇宙開始變得智能化。’”
“人類在宇宙的智慧傳播方面不會發(fā)揮重要作用。但沒關(guān)系。不要將人類視為創(chuàng)造的王冠。相反，將人類文明視為更宏偉計(jì)劃的一部分，這是宇宙走向更高復(fù)雜性的重要步驟（但不是最后一步）?，F(xiàn)在，它似乎已準(zhǔn)備好邁出下一步，這一步與35億年前的生命發(fā)明本身相當(dāng)?！?
以上三段話不是科幻電影的臺詞，也不是科幻小說的描述，是人工智能遞歸神經(jīng)網(wǎng)絡(luò)之父、德國計(jì)算機(jī)科學(xué)家尤爾根·施米德胡貝在參加2019世界人工智能大會之際接受澎湃新聞（www.thepaper.cn）專訪時，對人工智能的預(yù)測。
尤爾根·施米德胡貝（Jürgen Schmidhuber），受訪者提供
在人工智能領(lǐng)域，德國計(jì)算機(jī)科學(xué)家尤爾根·施米德胡貝（Jürgen Schmidhuber）是一個頗具爭議性的存在。《紐約時報(bào)》曾稱他是人工智能研究領(lǐng)域的 Rodney Dangerfield （一位美國喜劇演員，1980年代以一句“沒人尊重我”而知名），他認(rèn)為自己在人工智能領(lǐng)域的開拓性研究沒有得到重視。
施米德胡貝在1997年提出了長短期記憶人工神經(jīng)網(wǎng)絡(luò)（Long-Short Term Memory, LSTM），為神經(jīng)網(wǎng)絡(luò)提供了一種記憶形式，改善了準(zhǔn)確度。但由于當(dāng)時計(jì)算機(jī)算力的限制，直到近幾年，LSTM的概念才開始普及。目前，LSTM已被廣泛地使用于Facebook的自動翻譯、谷歌的語音識別、蘋果的Siri以及亞馬遜的Alexa。在無監(jiān)督的對抗性網(wǎng)絡(luò)、人工好奇和元學(xué)習(xí)機(jī)器領(lǐng)域，施米德胡貝也做出了不小貢獻(xiàn)。他所在的實(shí)驗(yàn)室培養(yǎng)出了阿爾法狗團(tuán)隊(duì)四位創(chuàng)始成員中的兩人。
除了對學(xué)術(shù)成果受關(guān)注度的不滿，施米德胡貝還時常因聽似夸張的言論受到批評，部分科學(xué)家認(rèn)為他對技術(shù)進(jìn)步速度的樂觀是毫無依據(jù)的。
受科幻小說的啟發(fā)，從15歲開始，施米德胡貝的主要目標(biāo)是建立一個比他更聰明且能自我完善的人工智能，然后退休。目前，他是瑞士人工智能公司NNAISENSE的聯(lián)合創(chuàng)始人和首席科學(xué)家，在那里，他希望打造第一個實(shí)用的通用人工智能。
施米德胡貝還擔(dān)任瑞士IDSI人工智能實(shí)驗(yàn)室科學(xué)主任，瑞士USI&SUPSI大學(xué)人工智能教授。
他對澎湃新聞（www.thepaper.cn）記者表示，人工好奇心（Artificial curiosity）將成為下一輪人工智能的核心，智能機(jī)器人主要從自己發(fā)明的實(shí)驗(yàn)中學(xué)習(xí)，偶爾才向人類學(xué)習(xí)。
當(dāng)前，機(jī)器人的智慧仍然比不上兒童、甚至某些小動物。但施米德胡貝在采訪中說，在不到幾年的時間里，我們將能夠構(gòu)建一個人工智能，使其逐漸變得至少像小動物一樣聰明，具有好奇心和創(chuàng)造性，并持續(xù)地學(xué)習(xí)如何計(jì)劃和推理，以非常普適的方式將各種問題分解為可快速解決（或已經(jīng)解決）的子問題。
“一旦我們擁有動物級人工智能，幾年或幾十年后，我們就可能會擁有人類級人工智能，屆時所有文明都將發(fā)生變化，每一個事物都將發(fā)生變化?！?
尤爾根·施米德胡貝（Jürgen Schmidhuber），受訪者提供
“機(jī)器將從自己發(fā)明的實(shí)驗(yàn)中學(xué)習(xí)，偶爾才向人類學(xué)習(xí)”
澎湃新聞：
你對人工智能的定義是什么？
Jürgen Schmidhuber：
人工智能是一門自動解決問題的科學(xué)，特別是用自動學(xué)習(xí)地方式解決以前未解決的問題。
澎湃新聞：
你的另一個興趣是無監(jiān)督學(xué)習(xí)（在不提供監(jiān)督信息即預(yù)測量的真實(shí)值的條件下進(jìn)行學(xué)習(xí)），近期這一領(lǐng)域有什么新發(fā)展？
Jürgen Schmidhuber：
目前的商業(yè)應(yīng)用主要集中在監(jiān)督學(xué)習(xí)上，它使人工神經(jīng)網(wǎng)絡(luò)模仿人類老師。在許多實(shí)驗(yàn)過程中，Linnainmaa在1970年提出的方法（今天通常稱為反向傳播）被用來逐步削弱某些神經(jīng)連接并加強(qiáng)其他神經(jīng)連接，使得網(wǎng)絡(luò)的行為越來越像老師。通過這種方法，我們的LSTM神經(jīng)網(wǎng)絡(luò)學(xué)會了在數(shù)十億臺智能手機(jī)上為世界上最有價值的公司進(jìn)行語音識別和自動翻譯。但問題是人類老師需要提供所有的訓(xùn)練數(shù)據(jù)。
嬰兒在沒有老師的情況下就能學(xué)到很多東西。當(dāng)他們與世界互動時，他們學(xué)習(xí)預(yù)測其行動的后果。他們還有好奇心，會用玩具設(shè)計(jì)實(shí)驗(yàn)，從中獲得新的數(shù)據(jù)，了解更多信息。
為了構(gòu)建具有好奇心的智能體，我在1990年引入了一種新型的主動無監(jiān)督學(xué)習(xí)。它基于一個最大最小值博弈，其中一個神經(jīng)網(wǎng)絡(luò)最小化一個目標(biāo)函數(shù)，而這個目標(biāo)函數(shù)卻被另一個網(wǎng)絡(luò)最大化。那么它具體是怎么工作的呢？第一個網(wǎng)絡(luò)稱為控制器，它生成可能影響環(huán)境的輸出。第二個網(wǎng)絡(luò)稱為世界模型，它預(yù)測環(huán)境對控制器輸出的反應(yīng)。世界模型的目標(biāo)是最小化其誤差，從而成為更好的預(yù)測器。但在零和博弈中，控制器試圖找到最大化世界模型誤差的輸出。也就是說，控制器想要找到某種新的實(shí)驗(yàn)，這種實(shí)驗(yàn)可以生成世界模型仍不熟悉的數(shù)據(jù)，直到這些數(shù)據(jù)對世界模型來說非常熟悉。如今，在算力比1990年便宜了一百萬倍的情況下，我們使用這一簡單原則的復(fù)雜變式來構(gòu)建無監(jiān)督的機(jī)器人，這些機(jī)器人為自己設(shè)定目標(biāo)，從而在這個過程中能夠解決越來越普適的問題。
澎湃新聞：
無監(jiān)督學(xué)習(xí)的成熟將對人類產(chǎn)生什么影響？
Jürgen Schmidhuber：
人工好奇心（Artificial curiosity）將成為下一輪人工智能（有時稱為“第四次工業(yè)革命”）的核心，這次革命中，智能機(jī)器人和其他機(jī)器將通過自己的行動來塑造他們的數(shù)據(jù)。他們將主要從自己發(fā)明的實(shí)驗(yàn)中學(xué)習(xí)，偶爾才向人類學(xué)習(xí)。
目前還沒有出現(xiàn)，但在不久的將來，我們將會有我曾在訪談中提到的“展示和告知機(jī)器人”、“觀察和學(xué)習(xí)機(jī)器人”或“觀察和行動機(jī)器人”——人類快速地向一個復(fù)雜機(jī)器人展示如何執(zhí)行復(fù)雜任務(wù)，例如只通過智能手機(jī)進(jìn)行視覺演示和對話，不需要觸摸或直接指導(dǎo)機(jī)器人，整個過程就像我們教育孩子一樣。
下一輪人工智能將更廣泛地影響經(jīng)濟(jì)；現(xiàn)在的人工智能浪潮主要涉及營銷和廣告，以智能手機(jī)被動模式識別的方式。當(dāng)前的被動人工智能分析你的言辭、面部、偏見和閱讀偏好等，以預(yù)測你接下來可能對哪些文章感興趣，讓你在平臺上停留更長時間，讓你點(diǎn)擊更多廣告等。當(dāng)然，參與當(dāng)前人工智能浪潮的公司（亞馬遜、阿里巴巴、Facebook、騰訊、谷歌等）是目前最有價值的公司，但營銷和銷售廣告只是世界經(jīng)濟(jì)的一小部分，下一輪人工智能浪潮將會波及更廣，影響所有工業(yè)生產(chǎn)。
“整個宇宙開始變得智能化”
澎湃新聞：
在更遙遠(yuǎn)的將來會發(fā)生什么？
Jürgen Schmidhuber：
從長期來看，為自己設(shè)定目標(biāo)的AI將嘗試進(jìn)一步改進(jìn)自己，主要使用我們自1987年以來發(fā)布的元學(xué)習(xí)方法。他們將學(xué)習(xí)改進(jìn)自己的學(xué)習(xí)程序，并推開自己的局限性。
他們具體會做什么呢？太空對人類是敵視的，但對設(shè)計(jì)合理的機(jī)器人是友好的，它提供的物理資源比我們的生物圈要多得多，我們的生物圈接收了不到十億分之一的太陽光。雖然有些好奇的人工智能仍然會對生活著迷，但至少只要他們不完全理解它，大多數(shù)人工智能就會對太空中不可思議的新機(jī)遇更感興趣。通過在小行星帶及其以外的無數(shù)自復(fù)制機(jī)器人工廠，人工智能將改變太陽系，然后在數(shù)十萬年內(nèi)改變整個銀河系，并在數(shù)百億年內(nèi)改變可達(dá)宇宙的剩余部分，只有光速的限制能夠阻止。（人工智能或其部分部件很可能通過無線電從發(fā)射器傳輸?shù)浇邮掌鳎珜⑵浒惭b到位需要相當(dāng)長的時間。)
這與20世紀(jì)科幻小說中描述銀河帝國和智慧人工智能的場景截然不同。小說的大多數(shù)情節(jié)都是以人為中心的，因而不切實(shí)際。例如，為了實(shí)現(xiàn)銀河系的長距離和人類壽命的兼容，科幻小說作者發(fā)明了物理上不可能的技術(shù)，如扭曲驅(qū)動器。然而，不斷發(fā)展的人工智能領(lǐng)域在物理速度限制方面不會有任何問題。
宇宙依然年輕，它還會比現(xiàn)在老很多倍。我們應(yīng)該還有大量的時間去擴(kuò)展人工智能的領(lǐng)域來實(shí)現(xiàn)并轉(zhuǎn)換它的所有內(nèi)容。展望未來，宇宙將比現(xiàn)在老一千倍，然后，宇宙回首過去，說：“幾乎就在大爆炸之后，就在140億年之后，整個宇宙開始變得智能化。"
當(dāng)然，人類在宇宙的智慧傳播方面不會發(fā)揮重要作用。但沒關(guān)系。不要將人類視為創(chuàng)造的王冠。相反，將人類文明視為更宏偉計(jì)劃的一部分，這是宇宙走向更高復(fù)雜性的重要步驟（但不是最后一步）?，F(xiàn)在，它似乎已準(zhǔn)備好邁出下一步，這一步與35億年前的生命發(fā)明本身相當(dāng)。
這不僅僅是另一場工業(yè)革命。這是超越人類乃至生物學(xué)的新事物。我有幸見證了它的開始，并為它做出了一些貢獻(xiàn)。
“人工通用智能的拼圖碎片已經(jīng)開始就位了”
澎湃新聞：
人工智能作為一門學(xué)科和一個行業(yè)，近年來備受關(guān)注。你如何看待這種現(xiàn)象？以史為鑒，我們是否應(yīng)該警惕另一個人工智能寒冬的可能性？
Jürgen Schmidhuber：
我看不到另一個人工智能冬天的到來，因?yàn)槿斯ぶ悄芤呀?jīng)在各地改善了生活，盡管許多人不知道這一點(diǎn)。例如，截至2016-2017年度，我們的LSTM已滲透到現(xiàn)代世界，占用了地球計(jì)算能力的很大一部分，使許多人的生活變得更加輕松，人們的生活已經(jīng)離不開它。這正是即將到來的更大規(guī)模人工智能浪潮的高潮……
澎湃新聞：
你如何預(yù)測人工通用智能（AGI）的發(fā)展？在此階段阻礙AGI的因素有哪些？
Jürgen Schmidhuber：
我們已經(jīng)在21世紀(jì)早期的瑞士人工智能實(shí)驗(yàn)室中開發(fā)了數(shù)學(xué)上最優(yōu)的通用人工智能和問題解決程序，例如Marcus Hutt針對所有定義明確的問題的最快算法，或者我的元學(xué)習(xí)、自引用、自我改進(jìn)的Gdel Machine。這些系統(tǒng)在理論上是最優(yōu)的，但還不夠?qū)嵱?。這就是為什么我們?nèi)栽陂_展業(yè)務(wù)，努力彌合理論和實(shí)踐之間的差距。我認(rèn)為這一差距即將縮小；許多本質(zhì)的見解已經(jīng)存在，拼圖的碎片已經(jīng)開始就位了。
我認(rèn)為許多進(jìn)展將建立在兩個相互作用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的基礎(chǔ)上?；叵胍幌挛覄偛鸥阏f過的關(guān)于人工好奇心的事。其中一個RNN是一個控制器，它學(xué)習(xí)將輸入的數(shù)據(jù)（如視頻、音頻、饑餓和疼痛信號）映射到一個能夠最大化獎勵且最小化疼痛的動作序列上，直到智能體的生命結(jié)束。另一個是一個世界模型，它去學(xué)習(xí)預(yù)測環(huán)境對動作序列的反應(yīng)。前者可以利用后者來計(jì)劃、思考和提高解決問題的能力。我們的第一個這樣的系統(tǒng)可以追溯到1990年，但現(xiàn)在我們更清楚如何把它做得更好了。
除此之外，我們?nèi)匀皇芤嬗谶@樣一個事實(shí)：每5年，同等價格可以獲得的算力能提高大約10倍。與摩爾定律（Moore's Law）不同，摩爾定律（Moore's Law）認(rèn)為每片微芯片的晶體管數(shù)量每18個月翻一番，且這一趨勢最近被打破了。自從康拉德·祖斯（Konrad Zuse）于1935-1941年制造出第一臺能用的程序控制計(jì)算機(jī)以來，這種趨勢一直持續(xù)著。如今，75年后的今天，同等價格的硬件速度大約提升了一百萬倍。如果這一趨勢不被打破，很快我們將擁有廉價的，具有人類大腦的原始計(jì)算能力的設(shè)備。幾十年后，計(jì)算設(shè)備將擁有100億人的大腦計(jì)算能力。
“至少像小動物一樣聰明”
澎湃新聞：
在LSTM和GRU之后，RNN是否可能有一個新的主干網(wǎng)絡(luò)結(jié)構(gòu)？如果是這樣的話，會有什么改進(jìn)呢？
Jürgen Schmidhuber：
盡管LSTM現(xiàn)在消耗了世界上大部分的計(jì)算能力，但是沒有證據(jù)表明LSTM是最好的循環(huán)神經(jīng)網(wǎng)絡(luò)。（更不用說功能較弱的LSTM變體GRU，它是許多LSTM變體中的一個）事實(shí)上，在2009年，我們已經(jīng)有了一個系統(tǒng)，它自動設(shè)計(jì)了類似LSTM的架構(gòu)，至少在某些應(yīng)用中優(yōu)于普通的LSTM。這種“神經(jīng)架構(gòu)搜索”現(xiàn)在被廣泛使用，也許我們可以開始期待下一個人工智能的重大突破是由人工智能本身產(chǎn)生的。
澎湃新聞：
人工智能領(lǐng)域的下一個突破可能會發(fā)生在什么領(lǐng)域？當(dāng)前人工智能落地應(yīng)用的真正困難是什么？例如，機(jī)器翻譯、閱讀理解有哪些困難？
Jürgen Schmidhuber：
目前，基于人工智能的翻譯和閱讀理解并不差。但現(xiàn)實(shí)世界中，機(jī)器人的人工智能比這個難得多，也比單純棋盤游戲（國際象棋、圍棋）或電子游戲（星際游戲、Dota游戲）的人工智能難得多。兒童、甚至某些小動物仍然比我們最好的自學(xué)機(jī)器人聰明得多。但我認(rèn)為，在不到幾年的時間里，我們將能夠構(gòu)建一個基于RNN的人工智能（RNNAI），使其逐漸變得至少像小動物一樣聰明，具有好奇心和創(chuàng)造性，并持續(xù)地學(xué)習(xí)如何計(jì)劃和推理，以非常普適的方式將各種問題分解為可快速解決（或已經(jīng)解決）的子問題。
一旦達(dá)到了動物級的人工智能，邁向人類級人工智能的下一步可能就很小了：智能動物的進(jìn)化需要數(shù)十億年的時間，而人類進(jìn)化的時間只有幾百萬年。技術(shù)進(jìn)化比生物進(jìn)化快得多，因?yàn)樗蓝吮磺宄每斓枚?。也就是說，一旦我們擁有動物級人工智能，幾年或幾十年后，我們可能會擁有人類級人工智能，具有真正的無限應(yīng)用程序，每一項(xiàng)業(yè)務(wù)都將發(fā)生變化，所有文明都將發(fā)生變化，每一個事物都將發(fā)生變化。
“上海的努力給我留下了特別深刻的印象”
澎湃新聞：
你如何看待中國在學(xué)術(shù)界和業(yè)界的人工智能發(fā)展情況？為什么決定參加世界人工智能大會？
Jürgen Schmidhuber：
盡管人工智能和深度學(xué)習(xí)是上一個世紀(jì)在歐洲發(fā)明的，但中美兩國目前在將人工智能轉(zhuǎn)化為金融利潤方面表現(xiàn)出色，特別是通過阿里巴巴和亞馬遜、騰訊和Facebook、百度和Google等大型平臺公司。
我對中國在人工智能領(lǐng)域取得領(lǐng)導(dǎo)地位的決心特別印象深刻。盡管瑞士在人工智能研究方面的人均引文影響仍居世界前列，但在絕對數(shù)字方面，中國現(xiàn)在是人工智能年產(chǎn)最多的國家。因此，我預(yù)計(jì)在不久的將來，我們將看到中國人工智能的顯著發(fā)展。
上海的努力給我留下了特別深刻的印象。瑞士的經(jīng)濟(jì)規(guī)模與上海大致相當(dāng)，然而，瑞士目前只向人工智能投資一小部分。我希望上海能明智地投資人工智能領(lǐng)域，然后我們將看到人工智能的突破源于上海。
