圖片來(lái)源：inteligencia

編者按：機(jī)器智能研究院（MIRI）的研究宗旨是，確保比人類更加智能的機(jī)器系統(tǒng)會(huì)帶來(lái)積極影響，研究領(lǐng)域包括：可靠的代理設(shè)計(jì)，如何設(shè)計(jì)可靠的AI系統(tǒng)執(zhí)行人類交給它的任務(wù)；價(jià)值學(xué)習(xí)，如何設(shè)計(jì)學(xué)習(xí)系統(tǒng)，讓系統(tǒng)能夠?qū)W會(huì)人類的價(jià)值觀；錯(cuò)誤包容，如何設(shè)計(jì)配合人類操作員的系統(tǒng)，能夠包容程序員不可避免的錯(cuò)誤。

MIRI的研究人員來(lái)自全球頂尖大學(xué)及企業(yè)，《人工智能：現(xiàn)代方法》的聯(lián)合作者Stuart Russel教授擔(dān)任其研究顧問(wèn)。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都將參加雷鋒網(wǎng)在深圳舉辦的人工智能與機(jī)器人峰會(huì)。

谷歌DeepMind研究科學(xué)家Laurent Orseau和牛津大學(xué)研究副教授、機(jī)器智能研究院（MIRI）Stuart Armstrong博士共同發(fā)表了一篇新論文，探討包容錯(cuò)誤的智能代理設(shè)計(jì)。論文《可安全干預(yù)的智能代理》將于本月底在紐約的第32屆“人工智能中的不確定性”大會(huì)上呈現(xiàn)。論文摘要如下：

“強(qiáng)化學(xué)習(xí)中的智能代理在與復(fù)雜環(huán)境（例如真實(shí)世界）互動(dòng)時(shí)，不可能永遠(yuǎn)都在最佳狀態(tài)上。如果代理在人類的監(jiān)督下進(jìn)行實(shí)時(shí)操作，系統(tǒng)會(huì)時(shí)不時(shí)地需要人類來(lái)按下暫停鍵，防止代理持續(xù)進(jìn)行一系列有害的行為——對(duì)代理或?qū)Νh(huán)境有害的行為——并由人類來(lái)將代理帶往安全的環(huán)境。然而，如果學(xué)習(xí)中的代理期望從原本要執(zhí)行的行為中獲得獎(jiǎng)勵(lì)，長(zhǎng)此以往，它可能會(huì)學(xué)會(huì)避免此類的人類干預(yù)，例如，代理會(huì)讓暫停鍵失效——這是我們不想要的結(jié)果。

這篇論文探索了一種方法，可以確保代理不會(huì)學(xué)會(huì)如何避免（或?qū)で螅┉h(huán)境或者人類操作員對(duì)其進(jìn)行干預(yù)。我們提供了安全干預(yù)的定義，探索了無(wú)監(jiān)管下的學(xué)習(xí)特性，并證明有些代理已經(jīng)可以安全地進(jìn)行干預(yù)，例如Q-learning，或者可以簡(jiǎn)單轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理，例如Sarsa。我們的結(jié)論是，即便是理想的、不可計(jì)算的強(qiáng)化學(xué)習(xí)代理，在總體可計(jì)算的（決定論的）環(huán)境中，也可以轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理?！?/p>

Orseau和Armstrong的論文為解決矯正問(wèn)題帶來(lái)了一個(gè)新的視角?？沙C正的代理指的是，能夠識(shí)別到自身有缺陷、或者正在開發(fā)中的代理，并能幫助其操作員進(jìn)行維護(hù)、改善或者自我替換，而不是抗拒這些操作。

在強(qiáng)人工智能系統(tǒng)中，矯正主要是為了在系統(tǒng)終極目標(biāo)不正確的時(shí)候，避免不安全的收斂工具性政策（例如，保護(hù)其當(dāng)前的目標(biāo)系統(tǒng)未來(lái)不受修改影響的政策）。這讓我們能夠?qū)嵤┗谠囧e(cuò)和學(xué)習(xí)的恰當(dāng)方法，來(lái)解決AI價(jià)值規(guī)范的問(wèn)題。

干預(yù)是為了讓直覺(jué)性的矯正概念形式化。例如，“無(wú)關(guān)用途”是過(guò)往對(duì)另一種矯正的定義：系統(tǒng)不介意程序員修改其終極目標(biāo)，因此能避免強(qiáng)迫程序員進(jìn)行修改、或避免修改。而“可安全干預(yù)的代理”則試圖定義另一種系統(tǒng)，不介意程序員修改其政策，不會(huì)阻止程序員干預(yù)它們的日常行為（也不會(huì)強(qiáng)迫程序員去干預(yù)）。

這樣做的目標(biāo)是，讓代理認(rèn)為沒(méi)有未來(lái)干預(yù)時(shí)選擇最優(yōu)的政策。即便代理過(guò)去經(jīng)歷過(guò)干預(yù)，也會(huì)好像未來(lái)不會(huì)有任何干預(yù)一樣行動(dòng)。Orseau和Armstrong在論文中讓我們看到，若干類型的代理是可以安全干預(yù)的，或者可以簡(jiǎn)單轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理。

點(diǎn)擊鏈接下載Orseau和Armstrong的論文全文。

VIA MIRI

 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。