0
| 本文作者： 郭海惟 | 2025-07-31 10:36 |
那個(gè)因?yàn)檠炊幌碌哪腥?，終于還是在WAIC坐下了，對面則是同為圖靈獎(jiǎng)得主、上海期智研究院院長姚期智先生。
Geoffery Hinton給大家?guī)砹藥讉€(gè)話題與故事，幾乎每一個(gè)都是關(guān)于人與AI的。
第一個(gè)是關(guān)于人腦與Transformer的。
他認(rèn)為前者更好解決了時(shí)序問題，可以給后者以借鑒。同時(shí)，他認(rèn)為人腦本身可以被視作擁有“粗略的”Transformer模型功能的意識(shí)體。
第二個(gè)是關(guān)于人類的未來與AI道德的。
他把這視為目前亟待解決的最重要的問題，Hinton說，要塑造一個(gè)善良的AI或許很像養(yǎng)育孩子。
“養(yǎng)孩子的時(shí)候，你可以給他定規(guī)矩，但那幾乎不起什么作用。你可以獎(jiǎng)賞懲罰他，有一點(diǎn)效果?；蛘吣憧梢越o他展示好的行為榜樣。如果父母表現(xiàn)出良好的行為，孩子通常會(huì)成長為一個(gè)品德高尚的人。”
Hinton承認(rèn)，無論是做“善良”的語料庫，還是改造人類社會(huì)，讓世界整體都變得善良，其實(shí)是一件很難的任務(wù)。而潛在的解決方案之一，或許是我們先訓(xùn)練一個(gè)初步善良的AI，然后再以此為基礎(chǔ)，一步步訓(xùn)練出更善良的AI。
第三個(gè)是關(guān)于大模型與意識(shí)的。
Hinton講了兩個(gè)故事，一個(gè)是他與女兒關(guān)于鸚鵡的辯論。
他認(rèn)為鸚鵡可以理解事情，大模型也可以，而大部分語言學(xué)家其實(shí)都錯(cuò)了。與早前的演講一致，他說“任何真正用過大型語言模型的人，都不可能相信它們聽不懂你在說什么?！?/p>
他不認(rèn)為人類意識(shí)存在某種帶有神秘性色彩的“內(nèi)在劇場”。他認(rèn)為，如果AI甚至已經(jīng)可以分清楚“主觀體驗(yàn)”與“客觀存在”之間的偏誤、能弄清楚自己是否“誤解”了別人的話，那沒有理由認(rèn)為，大模型只是機(jī)械地預(yù)測，而缺乏真正的“理解”能力。
Hinton說，“如果你真想把下一個(gè)詞預(yù)測好（尤其當(dāng)它是回答一個(gè)問題的第一個(gè)詞時(shí)），你就需要已經(jīng)理解了別人說的話?！薄皟H僅通過努力預(yù)測下一個(gè)詞，如果你想把它做到極致，你就迫使系統(tǒng)去理解那個(gè)問題?！?/p>
更糟糕的事情是，Hinton認(rèn)為，這種將人類意識(shí)“特殊化”的敘事，不僅是無稽之談而且是危險(xiǎn)的。
他說，“我覺得許多人對超級(jí)智能的恐懼沒有應(yīng)有的那么大，因?yàn)樗麄內(nèi)韵嘈盼覀兩砩嫌心撤N特殊的東西——主觀體驗(yàn)、感知能力或意識(shí)——是這些其它系統(tǒng)永遠(yuǎn)無法擁有的。也就是說，我們很特別，我們有一種魔法成分——意識(shí)或主觀體驗(yàn)——而 AI 沒有。所以我們覺得會(huì)沒事，因?yàn)槲覀冇兴鼈儧]有的東西?！?/p>
從某種程度上來說，Geoffery Hinton其實(shí)在挑戰(zhàn)某種古已有之的人類中心主義的敘事——這種思想認(rèn)為人類比鸚鵡更高級(jí)，自然也比AI更特殊。
但那“是危險(xiǎn)的無稽之談，因?yàn)樗鼤?huì)讓我們自滿（complacent）”，從而讓人類最終低估AI對我們的沖擊，Hinton表示。
或者正如姚期智在對話中所說的：
“我想我們或許太心高氣傲了。我們以為我們可以擁有一切，但整個(gè)宇宙并不那么仁慈。我認(rèn)為我們掌握的量子、核以及生物合成的秘密知識(shí)并非毫無代價(jià)。”
我們或許正在處在物種與文明變化的十字路口，大模型不僅可能顛覆現(xiàn)有的生產(chǎn)關(guān)系，也極大地挑戰(zhàn)著人類對自我意識(shí)的固有認(rèn)識(shí)——
自然在某種程度上，它也在挑戰(zhàn)人類的傲慢。
中文翻譯參考大會(huì)論壇速記，AI科技評(píng)論在不影響原意的基礎(chǔ)上，對部分文字做了調(diào)整：
姚期智：
您是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的先驅(qū)，曾利用神經(jīng)網(wǎng)絡(luò)創(chuàng)建過一個(gè)稱作“微型語言模型”的東西，它最終演變成了目前正在改變我們生活的“大型語言模型”。
受大腦啟發(fā)的，現(xiàn)在我們已經(jīng)創(chuàng)造出了這種驚人的計(jì)算機(jī)架構(gòu)，它在某些方面似乎超過了大腦。我們是否還有什么可以向腦科學(xué)（或者更正式地說，神經(jīng)科學(xué)）學(xué)習(xí)的？
Geoffery Hinton：
沒錯(cuò)，如果沒有大腦作為模型，我認(rèn)為根本不會(huì)有人去嘗試讓神經(jīng)網(wǎng)絡(luò)發(fā)揮作用。通過調(diào)節(jié)連接強(qiáng)度讓簡單單元組成的網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的這個(gè)想法，完全是來自于大腦。
我們是否已經(jīng)到了這樣一個(gè)階段：AI 將自行騰飛，再也不需要來自大腦的啟發(fā)？我認(rèn)為這并不完全正確。有一個(gè)特定方面，我們現(xiàn)有的 AI 模型可以從大腦得到很多啟發(fā)——
關(guān)于擁有多少種不同的時(shí)間尺度的問題。
在所有的 AI 模型中，神經(jīng)網(wǎng)絡(luò)中權(quán)重的調(diào)整有一個(gè)慢速的時(shí)間尺度，而神經(jīng)元活動(dòng)的變化有一個(gè)快速的時(shí)間尺度。也就是說，當(dāng)你改變輸入時(shí)，所有神經(jīng)元的活動(dòng)都會(huì)改變，但權(quán)重保持不變——權(quán)重只會(huì)慢慢發(fā)生改變。
在真實(shí)的大腦中，神經(jīng)元之間的連接（也就是突觸）會(huì)以許多不同的時(shí)間尺度進(jìn)行適應(yīng)。所以很長一段時(shí)間以來，我一直建議我們應(yīng)該在神經(jīng)網(wǎng)絡(luò)中嘗試引入三種時(shí)間尺度——我們應(yīng)該有緩慢變化的權(quán)重，即普通權(quán)重；還應(yīng)該有快速變化的權(quán)重。這些快速變化的權(quán)重能夠快速適應(yīng)，但也會(huì)快速衰減。這樣可以提供一種容量極高的短期記憶。
但人們沒有這樣做是有原因的。（盡管）Ilya Sutskever 和我在 2010 年嘗試過這樣做，而且成功了。
如果每個(gè)訓(xùn)練樣本都有一套不同的權(quán)重，那么對于每個(gè)訓(xùn)練樣本而言，兩種權(quán)重之和都是不同的（因?yàn)榭焖贆?quán)重會(huì)快速調(diào)整，而實(shí)際權(quán)重是慢速權(quán)重和快速權(quán)重之和）——這意味著你無法有一套統(tǒng)一的權(quán)重矩陣用于許多不同的訓(xùn)練樣本。所以無法進(jìn)行矩陣乘法，最終只能做向量-矩陣乘法，這效率不高。
僅僅因?yàn)檫@個(gè)技術(shù)原因，人們就此停止了對多時(shí)間尺度的研究。
從長遠(yuǎn)來看，我認(rèn)為我們會(huì)在神經(jīng)網(wǎng)絡(luò)中引入多種時(shí)間尺度。我認(rèn)為這方面我們還沒有充分利用來自大腦的啟發(fā)。
目前為止，還沒有人沿著這一思路產(chǎn)出比當(dāng)前大型語言模型更好的東西。因?yàn)樵诋?dāng)前的計(jì)算機(jī)硬件上，這是無法高效實(shí)現(xiàn)的。
姚期智：
我第一次聽到這樣的想法。對我來說，這真的是一個(gè)既新穎又原創(chuàng)的主意。特別是對于在座的年輕科學(xué)家而言，如果我是你們，我回去就會(huì)立刻開始做實(shí)驗(yàn)。
從某種意義上說，這可能正是創(chuàng)造出“微型語言模型”繼任者的契機(jī)?？茖W(xué)告訴我們，每一次科學(xué)革命都是不同的。如果你試圖去復(fù)制上一代、上一場革命的成功，你很可能會(huì)失望。
那么，我們該如何克服這個(gè)難題，并在小規(guī)模上做出一些成果呢？其實(shí)并不一定需要大型的模擬。Jeffrey 的成功經(jīng)歷說明，當(dāng)你真的是一位偉大的科學(xué)家時(shí)，可以用非常小的規(guī)模就完成目標(biāo)（也許不能像物理學(xué)那樣在信封背面演算就行，但只用一個(gè)小型系統(tǒng)就足以演示出效果）——然后你就可以說：“能幫我把它擴(kuò)展嗎？”
Geoffery Hinton：
是的，我完全同意那種方法論。
姚期智：
是，但至少對我們來說，想出如何利用大腦的生物結(jié)構(gòu)并不容易。因?yàn)槲覀儫o法像對大型語言模型那樣輕易地在人體大腦上做實(shí)驗(yàn)，獲取數(shù)據(jù)很不容易。除非他們在猴子上做實(shí)驗(yàn)（這一點(diǎn)我也表示保留）?，F(xiàn)在可能正是該反思一下腦科學(xué)能否從大型語言模型中學(xué)到點(diǎn)什么的時(shí)候了——大型語言模型或許可以為大腦的運(yùn)作方式提供一些線索。
我來問您第二個(gè)問題：您認(rèn)為在人類大腦中是否存在類似于 Transformer 那樣的結(jié)構(gòu)？
Geoffery Hinton：
過去二十年里，大型語言模型乃至 AI 整體的成功確實(shí)對神經(jīng)科學(xué)產(chǎn)生了影響。在 AI 取得巨大成功之前，神經(jīng)科學(xué)家們并不清楚一種學(xué)習(xí)技術(shù)——隨機(jī)梯度下降（就是計(jì)算出梯度然后沿梯度下降）——是否能夠在非常龐大的網(wǎng)絡(luò)中發(fā)揮作用。
符號(hào)派 AI 有著悠久的歷史，其中人們一直聲稱這種方法永遠(yuǎn)行不通。而大型語言模型證明了，沿著梯度進(jìn)行學(xué)習(xí)在真正龐大的系統(tǒng)中非常有效。這給神經(jīng)科學(xué)上了一課。
至于 Transformer ：乍看之下，你沒法把它套用到大腦上。 Transformer 會(huì)記住許多前面詞語的表征，而在 Transformer 里，那些表征是以神經(jīng)活動(dòng)的形式被記住的。Transformer 有很多層，對于之前所有那些詞，你都在以神經(jīng)活動(dòng)的形式記住它們。這在大腦中是完全不可能的——你的神經(jīng)元不夠用。
你無法記住所有先前詞語的活動(dòng)模式。詞一個(gè)接一個(gè)出現(xiàn)，你會(huì)為它們產(chǎn)生相應(yīng)的活動(dòng)模式。而這些活動(dòng)模式必須在某種程度上取決于你處理之前那些詞的方式，但你又無法以活動(dòng)模式的形式將它們記住。因此，這正是快速權(quán)重派上用場的地方。
你需要這樣一種系統(tǒng)：對先前詞匯的表征不是以神經(jīng)活動(dòng)模式存儲(chǔ)的，而是作為聯(lián)想記憶中權(quán)重的臨時(shí)修改來存儲(chǔ)，以便你可以訪問它們。當(dāng)前詞有它自己的活動(dòng)模式，你將它作為輸入提供給聯(lián)想記憶，那么聯(lián)想記憶輸出的就是之前那些詞的表征，并且這些表征根據(jù)它們與當(dāng)前詞的相似程度被賦予相應(yīng)的權(quán)重。
通過這樣做，你實(shí)際上可以用快速權(quán)重實(shí)現(xiàn)一個(gè)非常粗略的 Transformer 版本。雖然不完全一樣，但通過快速權(quán)重實(shí)現(xiàn)的方法非常相似。
因此，我至今對快速權(quán)重感興趣的原因之一是，我認(rèn)為這是讓大腦做出類似 Transformer 功能的唯一途徑。
姚期智：
但這就有點(diǎn)假定了：盡管大腦不同于大型語言模型，它也使用類似詞嵌入的東西。對，有點(diǎn)那樣的意思。那么，是否有具體的證據(jù)表明大腦在某種程度上以那樣的方式運(yùn)作，還是說那只是……
Geoffery Hinton：
我想是有的。很久以前——我記不清具體多久了，大概 2009 年左右——曾有一些研究通過 MRI 獲取大腦信息，嘗試判斷人們在想哪個(gè)單詞。結(jié)果成功了。所以，一個(gè)單詞的表征就是大腦中一種神經(jīng)活動(dòng)模式，而且通過觀察這種神經(jīng)活動(dòng)模式，你大概可以猜出那是什么單詞。很明顯，大腦是通過許多神經(jīng)元的活動(dòng)模式來表征單詞的。
姚期智：
我明白了。所以我想你之前的說法在某種程度上解釋了，大腦找到了一種方法來跟蹤這個(gè)過程中單詞向量不斷變化的時(shí)間序列。而且大腦設(shè)法以一種我們尚未完全理解的方式將其壓縮了。
Geoffery Hinton：
是的，但這可能意味著它在壓縮非常長的上下文時(shí)會(huì)丟失一部分信息。不過它也不會(huì)就那樣忽略很久之前的詞——那些詞仍然保存在這些快速權(quán)重中。有一篇 2016 年的論文討論了這個(gè)問題，它的第一作者是 Jimmy Ba（他的中文名字怎么讀我不清楚）。
姚期智：
Jimmy Ba是你的？
Geoffery Hinton：
當(dāng)時(shí)我在指導(dǎo)（advising）他。這個(gè)研究是我們一起完成的，他負(fù)責(zé)了所有編程工作。這篇論文發(fā)表于 2016 年，就在 Transformer 出現(xiàn)之前。它實(shí)際上展示了如何可以在大腦中實(shí)現(xiàn)類似 Transformer 的東西。它的標(biāo)題好像是 “Using Fast Weights to Attend to the Recent Past”。
姚期智：
現(xiàn)在我想轉(zhuǎn)向一些更哲學(xué)性的問題。
Jeffrey，我不確定你是否知道，Alan Turing 這個(gè)名字翻譯成中文帶有一個(gè)“靈”字，而“靈”在中文里意味著“得到啟發(fā)”。
所以我覺得，這恰好與你的描述非常契合：圖靈也提到了神經(jīng)網(wǎng)絡(luò)的這個(gè)理念。基于此，我想問你的一個(gè)問題是：我記得在今天早上的演講中，你有一句非常重要的表述，你認(rèn)為完全可以說大型語言模型理解它們自己所說的句子。你可以再詳細(xì)闡述一下嗎？
Geoffery Hinton：
我這里可以講一個(gè)故事：我曾第一次在和我女兒的爭論中輸給了她，那時(shí)她才 4 歲。
她下樓來對我說：“爸爸，你知道嗎？鸚鵡會(huì)說話哦？”
我說：“不，Emma，鸚鵡不會(huì)說話。它們只是能發(fā)出聽起來像說話的聲音，但那只是學(xué)舌，它們不明白那些聲音的含義?！?/p>
她說：“不，你錯(cuò)了，爸爸。它們會(huì)說話。”
于是我說：“不，Emma，它們并不理解這些詞的意思?！?/p>
她說：“會(huì)的。我剛看了一個(gè)節(jié)目，一個(gè)女士給鸚鵡看了一輛汽車，鸚鵡就說‘汽車’?！?/p>
就這樣，我在和我 4 歲女兒的爭論中輸了。
而我覺得如今的語言學(xué)家在某種程度上也有點(diǎn)類似。
語言學(xué)家們最初的反應(yīng)是：“哦，這些玩意兒并不會(huì)說話。這些玩意兒并不理解它們在說什么。這些東西只是用來預(yù)測下一個(gè)詞的統(tǒng)計(jì)技巧。它們沒有任何理解能力?！钡@種看法有好幾處是錯(cuò)的。
首先，如果你真想把下一個(gè)詞預(yù)測好（尤其當(dāng)它是回答一個(gè)問題的第一個(gè)詞時(shí)），你就需要已經(jīng)理解了別人說的話。所以有趣且對我們大有幫助的一點(diǎn)是，僅僅通過努力預(yù)測下一個(gè)詞，如果你想把它做到極致，你就迫使系統(tǒng)去理解那個(gè)問題。
語言學(xué)家們提出了很多反對意見，現(xiàn)在仍然有語言學(xué)家說這些東西什么都不理解。但我認(rèn)為現(xiàn)在的情況是，任何真正用過大型語言模型的人，都不可能相信它們聽不懂你在說什么。
而我最有力的論據(jù)是這樣的：假設(shè)我對一個(gè)大型語言模型說：“我在飛往芝加哥的途中看到了大峽谷?！?/p>
大型語言模型回答：“那不可能是對的。因?yàn)榇髰{谷太大了，飛不起來。”
然后我對模型說：“不，我不是那個(gè)意思。我的意思是，在我飛往芝加哥的途中，我看到了大峽谷?！?/p>
大型語言模型說：“哦，我明白了，我誤會(huì)了?！?/p>
如果剛才那算是它的誤解，那它在其他時(shí)候又是在做什么呢？
姚期智：
所以這種現(xiàn)象甚至在一個(gè)微型語言模型上也能出現(xiàn)。
Geoffery Hinton：
絕不只是“微型”……我來告訴你它有多“微小”。它的詞嵌入只有 6 個(gè)神經(jīng)元，網(wǎng)絡(luò)中的權(quán)重?cái)?shù)量大約是 1000 個(gè)，訓(xùn)練樣本的數(shù)量是 10^6（100 萬）。規(guī)模非常小。
姚期智：
延伸這一思路，我會(huì)假設(shè)現(xiàn)在那些多模態(tài)聊天機(jī)器人不僅能夠“理解”，它們還能做到更多，對嗎？
Geoffery Hinton：
是的。我認(rèn)為有一個(gè)很大的問題（我今天早上演講中沒提到），就是——這些多模態(tài)聊天機(jī)器人是否有知覺？
不同的人用不同方式表達(dá)這個(gè)問題。有些人問，它們有知覺嗎？有些人問，它們有意識(shí)嗎？還有人問，它們有主觀體驗(yàn)嗎？
那么我們來討論一下主觀體驗(yàn)的問題。
在我們（至少是我的文化）文化中，大多數(shù)人認(rèn)為我們有一個(gè)叫作心靈的內(nèi)在劇場，在這個(gè)內(nèi)在劇場中發(fā)生的事情只有自己能看到——舉例來說，如果我喝多了，我對你說：“我有一種主觀體驗(yàn)，覺得有粉紅色的小象在我面前漂浮?！?/p>
西方文化中的大多數(shù)人會(huì)將此理解為：存在一個(gè)叫心靈的內(nèi)在劇場，而在這個(gè)劇場里，有小粉紅象在眼前漂浮。如果你問這些小象是由什么構(gòu)成的，哲學(xué)家會(huì)告訴你它們是由感質(zhì)（qualia）構(gòu)成的：由粉紅色的感質(zhì)、大象的感質(zhì)、漂浮的感質(zhì)、不太大的感質(zhì)和正著的感質(zhì)，都用感質(zhì)膠水粘在一起——
由此你可以看出，我并不太相信這個(gè)理論。
現(xiàn)在，有一種完全不同的理論，來自丹·丹尼特等哲學(xué)家——他們認(rèn)為根本不存在什么內(nèi)在劇場。
他們認(rèn)為，當(dāng)你談?wù)撝饔^體驗(yàn)時(shí)，你并不是在說自己心中，只有自己能看到的、純粹個(gè)體的事情。其實(shí)是在試圖向別人解釋你的感知系統(tǒng)哪里出問題了。
讓我把“我有小粉紅象在我眼前飄浮的主觀體驗(yàn)”這句話換種說法，不用“主觀體驗(yàn)”這個(gè)詞。可以這樣說：
“我的感知系統(tǒng)騙了我。但是如果外部世界中真的有小粉紅象在我面前飄浮，那我的感知系統(tǒng)說的就是真話?！?/p>
因此，當(dāng)你談?wù)撝饔^體驗(yàn)時(shí)，你是在向他人傳達(dá)你的感知系統(tǒng)出了問題。這就是你稱之為“主觀”的原因，而你是通過描述一種假想的世界狀態(tài)來做到這一點(diǎn)的。所以這些小粉紅象并不是由什么叫感質(zhì)的奇怪東西構(gòu)成的。它們是假想的真實(shí)粉紅小象——“粉紅”和“象”都是真實(shí)的，只不過是假想的。
現(xiàn)在讓我把這個(gè)套用到聊天機(jī)器人上。假設(shè)我有一個(gè)多模態(tài)聊天機(jī)器人——它會(huì)說話，會(huì)指物，配有攝像頭。我訓(xùn)練它，然后在它面前放一個(gè)物體，對它說：“指一下那個(gè)物體。”它指向了那個(gè)物體。
現(xiàn)在我在攝像頭鏡頭前放一塊棱鏡，干擾了它的感知系統(tǒng)。然后我再在它面前放一個(gè)物體，對它說：“指一下那個(gè)物體?！苯Y(jié)果它指向了那邊。我說：“不，物體不在那邊，它其實(shí)就在你正前方。但我在你的鏡頭前放了一個(gè)棱鏡?！?/p>
聊天機(jī)器人說：“哦，我明白了，是棱鏡折射了光線。所以物體其實(shí)在那里?？墒俏业闹饔^體驗(yàn)是它在那邊?！?/p>
如果聊天機(jī)器人這么說，那么它使用“主觀體驗(yàn)”這個(gè)詞的方式和我們?nèi)祟愑玫囊荒Ｒ粯?。這也是我相信當(dāng)前的多模態(tài)聊天機(jī)器人在其感知系統(tǒng)出錯(cuò)時(shí)具備主觀體驗(yàn)的原因。而當(dāng)它們的系統(tǒng)運(yùn)作正常時(shí)，那就是客觀體驗(yàn)——我們就不會(huì)費(fèi)心去使用“體驗(yàn)”這個(gè)詞了。
姚期智：
我覺得這非常有說服力。我同意你的說法：從科學(xué)角度講，“理解”只是行為層面的表現(xiàn)。所以我想問你這樣一個(gè)問題。哲學(xué)家們聽到這種論斷時(shí)，會(huì)跳起來，非常惱火。
Geoffery Hinton：
哲學(xué)家都是這樣的。
姚期智：
是，但如果我們單純站在科學(xué)家的立場來看待，這些問題的答案重要嗎？因?yàn)楫?dāng)你做科學(xué)研究、從事 AI 研究、設(shè)計(jì)算法時(shí)——
如果我們在科學(xué)討論中完全排除掉這些問題，它不會(huì)減少什么，也不會(huì)增加什么。
是這樣嗎？
Geoffery Hinton：
我認(rèn)為這更多是政治性的。
我覺得許多人對超級(jí)智能的恐懼沒有應(yīng)有的那么大，因?yàn)樗麄內(nèi)韵嘈盼覀兩砩嫌心撤N特殊的東西——主觀體驗(yàn)、感知能力或意識(shí)——是這些其它系統(tǒng)永遠(yuǎn)無法擁有的。也就是說，我們很特別。我們有一種魔法成分——意識(shí)或主觀體驗(yàn)——而 AI 沒有。所以我們覺得會(huì)沒事，因?yàn)槲覀冇兴鼈儧]有的東西。
我認(rèn)為那是無稽之談。而且是危險(xiǎn)的無稽之談，因?yàn)樗鼤?huì)讓我們自滿（complacent）。
姚期智：
我想我們第一部分差不多要結(jié)束了，但我有個(gè)問題一直迫不及待地想問 Jeffrey：你認(rèn)為 AI 領(lǐng)域最重要的未解決問題是什么？
Geoffery Hinton：
我認(rèn)為最重要的未解決問題是：如何訓(xùn)練出一個(gè)最終是善良的 AI。我們需要找出如何訓(xùn)練它們，使其不想接管一切，而目前沒有人知道該怎么做到這一點(diǎn)。
我的猜想是，這很像養(yǎng)育孩子。
養(yǎng)孩子的時(shí)候，你可以給他定規(guī)矩，但那幾乎不起什么作用。你可以獎(jiǎng)賞懲罰他，有一點(diǎn)效果。
或者你可以給他展示好的行為榜樣。如果父母表現(xiàn)出良好的行為，孩子通常會(huì)成長為一個(gè)品德高尚的人。
所以我覺得我們應(yīng)該用精心篩選的數(shù)據(jù)來培養(yǎng) AI——當(dāng) AI 開始學(xué)習(xí)時(shí)，它只接觸好的行為。我們把所有人的不良行為先存起來，等它學(xué)會(huì)了什么是好的行為之后，再把那些不良行為給它看。
姚期智：
是啊，如果這樣行得通，那肯定能解決很多有關(guān) AI 未來發(fā)展的問題。
不過讓我再追問一下，因?yàn)槲矣X得，要訓(xùn)練出一個(gè)完全善良的 AI 比看起來要難。
Geoffery Hinton：
我們現(xiàn)在還不知道怎么做到……
姚期智：
而且我懷疑，你多少可以證明那是不可能的。我也不確定。
但我同意你的說法，這確實(shí)是 AI 最大的未解難題。所以我認(rèn)為應(yīng)該把正反兩面的所有可能性都考慮進(jìn)去。
讓我稍微談一下我的想法，算是對你所說的回應(yīng)——
我相信，這個(gè)世界上有好人，也有壞人。但事實(shí)上，好人也可能在不同環(huán)境下變成壞人。所以我認(rèn)為，“善良”這種特質(zhì)也是和情境相關(guān)的。如果你在一個(gè)環(huán)境惡劣的社區(qū)長大，要成為常人眼中的好人是很難的。
我的擔(dān)憂是，就像你養(yǎng)育一個(gè)孩子。如果他成長在富裕家庭、良好社區(qū)，你知道，他會(huì)成為彬彬有禮的人，甚至拿個(gè)諾貝爾獎(jiǎng)之類的。
但在極端壓力下，比如戰(zhàn)場上（很多時(shí)候，你知道哲學(xué)家說這些情形不一樣是有道理的，因?yàn)橛袝r(shí)你必須做出價(jià)值判斷，這類例子有很多）。如果機(jī)器人在許多那樣的情境下接受訓(xùn)練——因?yàn)槟阒溃嬲褭C(jī)器人訓(xùn)練得善良，就得在許多情境下考驗(yàn)它——我猜想，一臺(tái)好機(jī)器人，如果你讓它承受巨大的壓力，并且一旦做錯(cuò)就會(huì)被銷毀，那么它就會(huì)變得非常冷酷無情。
所以我的意思是，我覺得要做到你說的那一點(diǎn)，一個(gè)宏偉的理想是我們應(yīng)該首先改造人類本身。如果我們能得到一個(gè)善良占上風(fēng)的世界，沒有人在極端壓力下被迫做事，然后我們再用這種方式訓(xùn)練機(jī)器人，那么最后大家都會(huì)很滿意。
但這一切……都只是一個(gè)假設(shè)而已。
如果我們無法讓人類社會(huì)達(dá)到那種狀態(tài)，我認(rèn)為，我們就無法保證那些心懷不軌者不會(huì)制造出帶有敵意的機(jī)器人來消滅所有善良的機(jī)器人。
Geoffery Hinton：
但我們沒有那個(gè)時(shí)間了。事實(shí)上人類為此已經(jīng)努力了很久。
聯(lián)合國并沒有實(shí)現(xiàn)最初的設(shè)想，遠(yuǎn)沒有達(dá)到當(dāng)初預(yù)期的那樣有影響力。我認(rèn)為我們沒法及時(shí)做到你說的那點(diǎn)。我們不可能以足夠快的速度改革人類社會(huì)，來趕上應(yīng)對即將到來的超級(jí)智能 AI 威脅。
還有一個(gè)替代方案，聽起來有點(diǎn)像硅谷的想法：假設(shè)我們能造出一個(gè)大體上善良的 AI，然后讓它去設(shè)計(jì)一個(gè)更善良的 AI。也許要真正解決如何制造善良 AI 的問題，你需要一個(gè)比我們聰明得多的 AI 來完成。
所以可能可以用遞歸的方式讓 AI 變得越來越善良。有點(diǎn)像機(jī)器學(xué)習(xí)中的提升（boosting）：你先有一個(gè)弱學(xué)習(xí)器，再把它變成強(qiáng)學(xué)習(xí)器。這是一個(gè)可能的路徑。但就像我說的，目前我們還不知道怎么做到。我只是不認(rèn)為首先改造人類社會(huì)會(huì)是一個(gè)選項(xiàng)。
姚期智：
是的，我能在一種情況下看到一線希望，也就是——假設(shè) AGI 的發(fā)展是漸進(jìn)的，并不是一夜之間突然就支配了我們。
當(dāng)跡象已經(jīng)非常清楚地表明機(jī)器人將接管世界，把全人類都置于同一條船的一邊……我想那時(shí)候就像遇到火星人入侵。在那種情況下，我相信還是有可能的。
也許對我們來說那會(huì)是好事，讓我們汲取教訓(xùn)，認(rèn)識(shí)到人類的局限。
我想我們或許太心高氣傲了。我們以為我們可以擁有一切，但整個(gè)宇宙并不那么仁慈。我認(rèn)為我們掌握的量子、核以及生物合成的秘密知識(shí)并非毫無代價(jià)。
這是一個(gè)我們?nèi)祟悜?yīng)該意識(shí)到的危險(xiǎn)，我們應(yīng)該珍惜自己的好運(yùn)——因?yàn)槲覀兙谷荒茏叩浇裉臁㈩I(lǐng)悟數(shù)百年來所有這些卓越的思想，實(shí)在是個(gè)奇跡。
我認(rèn)為我們應(yīng)該珍惜這一點(diǎn)，并且應(yīng)該友善地對待彼此。我完全同意這一點(diǎn)。好了，現(xiàn)在該輪到你…
Geoffery Hinton：
輪到我了。你懂很多物理，我自己幾乎不懂物理。所以我有幾個(gè)關(guān)于量子計(jì)算的問題想問你。
第一個(gè)問題是，大多數(shù)物理理論在極端條件下都會(huì)失效。比如說，牛頓定律在很長時(shí)間里看起來都非常正確，精確適用。但后來發(fā)現(xiàn)，在非常高速的情形下，牛頓定律就不成立了，你需要一個(gè)更宏大的理論。
你認(rèn)為有沒有可能，我們對量子力學(xué)的理解也無法一直成立？也就是說，在某些情況下——比如無法保持非常復(fù)雜的糾纏，而量子計(jì)算依賴于完美維持這些糾纏——
如果在某些環(huán)境下出現(xiàn)一點(diǎn)不完美，最終量子計(jì)算實(shí)際上可能行不通？有這種可能嗎？
姚期智：
我認(rèn)為按照正統(tǒng)的量子理論，只要量子理論成立，糾纏多少個(gè)量子比特都不影響其有效性。但在實(shí)踐中，就目前而言——我有個(gè)物理學(xué)家朋友告訴我——物理學(xué)家目前能夠?qū)崿F(xiàn)深度糾纏的最大粒子數(shù)大概是 60 個(gè)。
所以我們距離理想中想要執(zhí)行的那種量子計(jì)算還差得很遠(yuǎn)。從這個(gè)意義上說，這確實(shí)是個(gè)懸而未決的問題。
不過物理學(xué)家或自然科學(xué)家的觀點(diǎn)是：如果你有一個(gè)好的理論，在出現(xiàn)相反證據(jù)之前不要去動(dòng)搖它。
我記得在量子計(jì)算的早期（你應(yīng)該知道 1982 年費(fèi)曼有一篇很有影響力的論文），到了 90 年代初，計(jì)算機(jī)科學(xué)家開始參與進(jìn)來。當(dāng)時(shí)有幾位非常受尊敬的一流理論計(jì)算機(jī)科學(xué)家，他們認(rèn)真質(zhì)疑過，比如說量子因數(shù)分解算法是否真的可行，因?yàn)槲锢韺W(xué)家一直無法在實(shí)驗(yàn)中實(shí)現(xiàn)那些算法。
我認(rèn)為物理學(xué)家是能做到的。你知道，有一些自然系統(tǒng)，其糾纏理論上確實(shí)可以是無限的。
比如一個(gè)玻色-愛因斯坦凝聚態(tài)——說的是中性原子，那類粒子——它們有點(diǎn)像好朋友，想要擠在一起。現(xiàn)在它們?nèi)绱丝拷?，以至于變得不可區(qū)分，因此這就給你提供了一個(gè)天然的糾纏。
這是一種完全的糾纏。但是對于我們想用來計(jì)算的東西——我的意思是，你不希望粒子在比特中彼此混淆。
我認(rèn)為答案尚未揭曉。
我的那些對這個(gè)問題感興趣的朋友，我猜他們內(nèi)心是想拿諾貝爾獎(jiǎng)的——他們覺得，如果計(jì)算機(jī)科學(xué)家設(shè)計(jì)出量子算法并由物理學(xué)家實(shí)現(xiàn)，結(jié)果發(fā)現(xiàn)并不能給出正確答案，那么計(jì)算機(jī)科學(xué)就通過在量子理論中制造了一個(gè)悖論而作出了巨大貢獻(xiàn)。
不過我認(rèn)為就目前而言，我所有搞量子計(jì)算的物理學(xué)家朋友都完全忽略了這種可能性。我想對他們來說——可以說這就跟圣經(jīng)一樣（毋庸置疑）。
Geoffery Hinton：
那么，第二個(gè)問題：我們先假設(shè)量子計(jì)算最終能夠奏效。你認(rèn)為在未來比如 10 到 15 年內(nèi)，量子計(jì)算會(huì)對 AI 產(chǎn)生巨大影響嗎？
還是你覺得 AI 的進(jìn)展會(huì)依靠經(jīng)典計(jì)算來實(shí)現(xiàn)？
姚期智：
我覺得這是一個(gè)非常有趣的問題。我認(rèn)為這對 AI 和量子計(jì)算來說確實(shí)都是一個(gè)前沿問題——因?yàn)榱孔拥耐碜砸环N與 AI 所帶來的能力完全不同的方向。
所以自然而然的問題是：就目前所知，在當(dāng)今世界上，終極的計(jì)算能力將來自于在量子條件下構(gòu)建 AI 機(jī)器。
換言之，你用量子計(jì)算機(jī)來進(jìn)行學(xué)習(xí)。原則上，我們應(yīng)該能得到更好的成果，因?yàn)榱孔涌隙ā辽倮昧孔?，可以做到一?AI 做不到的事情，比如分解大整數(shù)（我想幾乎沒有從事 AI 的人認(rèn)為 ，AI 真能做到這一點(diǎn)）。
我的意思是，AI 并不總是“超級(jí)智能”，它不會(huì)分解，我們也不指望它去分解數(shù)值。所以我們不必那么害怕 AI，因?yàn)橛行┦挛覀兡茏龅?，而超?jí)智能機(jī)器做不到。
Geoffery Hinton：
接下來還有一個(gè)不涉及量子計(jì)算的問題。有些人認(rèn)為，我們現(xiàn)在在 AI 中所做的就是在創(chuàng)造外星生命——某種意義上它們確實(shí)是生命。
我聽你說過，如果事情真是如此，我們需要為這些外星生命建立一門心理學(xué)。
你能詳細(xì)談?wù)剢幔?/p>
姚期智：
我認(rèn)為我們字面意義上就是在創(chuàng)造外星生物，這跟合成生物學(xué)家做的事情如出一轍。他們中許多人在思考如何從無生命的化學(xué)分子中創(chuàng)造生命，而我們，則是在用不同的方式構(gòu)造外星生命。
但是我記得你今天早上提到，這些超智能機(jī)器真的是外星人。它們也許看起來像可愛的小老虎，但其實(shí)不是。
所以我的感覺是，盡管我們同意在科學(xué)討論中去除“意識(shí)”和“理解”這些詞不會(huì)損失什么，但在我們嘗試構(gòu)建機(jī)器時(shí)，考慮看看能否將這些特性賦予進(jìn)去以讓它們更加善良，實(shí)際上可能是有益的。
為此，我確實(shí)相信在某個(gè)時(shí)候 AI 將催生一個(gè)獨(dú)立的學(xué)科，也就是機(jī)器心理學(xué)。
我覺得這很有意思，因?yàn)闄C(jī)器心理學(xué)和普通心理學(xué)之間的關(guān)系是這樣的：目前我們基本上還沒有真正的 AGI，所以我們?nèi)匀挥性S多需要向人類學(xué)習(xí)的地方。目前所有智能機(jī)器都有一個(gè)前提：由人類設(shè)計(jì)者確定其高層結(jié)構(gòu)。
歸根結(jié)底，AI 大多就是以智能的方式搜索大量可能性的能力，有時(shí)這種方式還很神秘，我們無法理解也無法證明。所以假設(shè)我暫且不考慮安全問題，只管去設(shè)計(jì)我所能設(shè)計(jì)的最聰明的機(jī)器，同時(shí)努力讓它保持善良。但最好的指導(dǎo)仍然來自人類——我們雇傭聰明的人來思考如何設(shè)計(jì)體系結(jié)構(gòu)。
我認(rèn)為目前我們可以利用人類心理學(xué)作為指導(dǎo)，對機(jī)器進(jìn)行初步的分類，并對它們進(jìn)行測試。但我相信，機(jī)器心理學(xué)最終會(huì)比人類心理復(fù)雜得多——因?yàn)樵谄垓_方面，它們甚至?xí)任覀內(nèi)祟愔凶畈豢罢哌€要更勝一籌。
所以當(dāng)它們聰明到那種程度，如果我們想研究它們的心理，我認(rèn)為就得由它們自己的同類來發(fā)展這門學(xué)科——
也就是由機(jī)器自己來研究。
（雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
