作者 | 賴文昕

編輯 | 陳彩嫻

近日，伯克利大學(xué) Sergey Levine 團(tuán)隊(duì)發(fā)布了一項(xiàng)強(qiáng)化學(xué)習(xí)方向的重磅工作——HIL-SERL，引起了具身智能領(lǐng)域的廣泛討論與關(guān)注。

根據(jù)實(shí)驗(yàn)結(jié)果，基于強(qiáng)化學(xué)習(xí)框架 HIL-SERL，研究者可以直接在現(xiàn)實(shí)世界中訓(xùn)練基于視覺(jué)的通用機(jī)器人操作策略。其中，機(jī)器人經(jīng)過(guò) 1~2.5 小時(shí)的訓(xùn)練后，就能完成主板、儀表盤(pán)以及正時(shí)皮帶組裝等操作任務(wù)。

而且，機(jī)器人完成所有任務(wù)的成功率均高達(dá) 100%！

這些任務(wù)包括組裝家具、顛勺煎蛋、鞭打積木、插入 U 盤(pán)等操作，即使在人為干擾的情況下，機(jī)器人也依舊能夠穩(wěn)定、靈活地完成任務(wù)。

此前，強(qiáng)化學(xué)習(xí)（RL）總是被業(yè)內(nèi)人士詬病其只能在模擬環(huán)境中改進(jìn)算法性能，無(wú)法解決現(xiàn)實(shí)世界里真實(shí)機(jī)器人的問(wèn)題。但 SERL 系列的工作證明，真機(jī) RL 不是天方夜譚——如今，強(qiáng)化學(xué)習(xí)不僅能應(yīng)用在現(xiàn)實(shí)世界中，且在精準(zhǔn)靈巧的操作任務(wù)上效果極佳，且遠(yuǎn)超模仿學(xué)習(xí)方法，節(jié)拍數(shù)也平均快了 1.8 倍。

換言之，SERL 是真機(jī) RL 機(jī)器人領(lǐng)域的一個(gè)劃時(shí)代工作。而這個(gè)工作的核心作者，就是中國(guó)青年科學(xué)家、伯克利在讀博士后羅劍嵐。

羅劍嵐

今年年初，羅劍嵐團(tuán)隊(duì)提出了高效機(jī)器人強(qiáng)化學(xué)習(xí)套件 SERL，機(jī)器人能用 20 分鐘學(xué)會(huì)裝配電路板，成功率同樣是 100%。

HIL-SERL 是基于 SERL 的升級(jí)版。但不同的是，HIL-SERL 結(jié)合了人類的示范和糾正來(lái)訓(xùn)練強(qiáng)化學(xué)習(xí)策略，而 SERL 僅依賴于人類的示范。

加入人類糾正這一微小的差異，對(duì)于讓策略從錯(cuò)誤中學(xué)習(xí)并提高性能至關(guān)重要，特別是針對(duì)那些對(duì)智能體來(lái)說(shuō)得從頭開(kāi)始學(xué)習(xí)的任務(wù)。而且，HIL-SERL 專注于相對(duì)困難的任務(wù)，還解決雙臂協(xié)調(diào)或動(dòng)態(tài)操作的問(wèn)題。

項(xiàng)目鏈接：https://hil-serl.github.io/

HIL-SERL 的效果也出乎了羅劍嵐與導(dǎo)師 Sergey Levine 的預(yù)料，看到成果后，Sergey 對(duì)羅劍嵐說(shuō)的第一句話就是：“You really made RL work.”（你真的讓強(qiáng)化學(xué)習(xí)跑起來(lái)了。）

在不久前 AI 科技評(píng)論發(fā)布的《伯克利具身智能圖譜》一文中，我們簡(jiǎn)單介紹了羅劍嵐在伯克利研究強(qiáng)化學(xué)習(xí)與機(jī)器人結(jié)合的故事?；厮葸^(guò)去，羅劍嵐已在機(jī)器人真機(jī) RL 方向“固執(zhí)”了將近十年時(shí)間。

2015 年，羅劍嵐到伯克利機(jī)械工程系讀機(jī)器人控制博士，同時(shí)開(kāi)始探索 Robotics+AI，并在 Pieter Abbeel 的指導(dǎo)下攻讀計(jì)算機(jī)系碩士。在他的博士論文答辯中，Pieter 也是他的博士答辯委員會(huì) co-chair。

在強(qiáng)化學(xué)習(xí)里，仿真器是不可缺失的一環(huán)，在模擬環(huán)境中實(shí)驗(yàn)測(cè)試結(jié)果的分?jǐn)?shù)越高，算法效果自然就更好。但同時(shí)，如何將強(qiáng)化學(xué)習(xí)落地到現(xiàn)實(shí)世界中也是機(jī)器人領(lǐng)域一直懸而未決的問(wèn)題。畢竟，MuJoCo 的物理模擬再精確，也并非真實(shí)的物理世界。

于是，從博二的第一個(gè)強(qiáng)化學(xué)習(xí)工作開(kāi)始，羅劍嵐就一直在研究如何讓強(qiáng)化學(xué)習(xí)在真實(shí)世界中落地。這當(dāng)中，強(qiáng)化學(xué)習(xí)的研究從 AlphaGo 的如日中天到變得漸漸冷門(mén)、甚至被行業(yè)唱衰，但羅劍嵐一直堅(jiān)信，機(jī)器人的真機(jī) RL 是一個(gè)長(zhǎng)期命題，一旦克服、將對(duì)機(jī)器人學(xué)習(xí)的突破產(chǎn)生范式般的變革。

2020 年博士畢業(yè)后，羅劍嵐加入了谷歌，先后在 DeepMind、Everyday Robot 與 Google X 等部門(mén)工作，由此學(xué)習(xí)了更多從底層動(dòng)力學(xué)到上層控制的機(jī)器人系統(tǒng)知識(shí)。與此同時(shí)，他也一直堅(jiān)持探索機(jī)器人與強(qiáng)化學(xué)習(xí)的結(jié)合。

2022 年，當(dāng)所參與項(xiàng)目被孵化為工業(yè)機(jī)器人創(chuàng)企 Intrinsic 后，羅劍嵐重新回到了伯克利，在 Sergey Levine 團(tuán)隊(duì)當(dāng)博士后，是 Sergey 組最堅(jiān)定的 RL 研究者。SERL 系列工作的探索，也是羅劍嵐在伯克利探索真機(jī) RL 多年來(lái)取得的最具突破性成果。

以下是 AI 科技評(píng)論與羅劍嵐的對(duì)話。

重返學(xué)術(shù)

AI 科技評(píng)論：您在伯克利機(jī)械系讀博，那最早是如何接觸深度強(qiáng)化學(xué)習(xí)的呢？

羅劍嵐：機(jī)械系做的范圍大而全，我是控制方向的，最早控制論和強(qiáng)化學(xué)習(xí)就是對(duì)偶的存在，比如控制里的 HJB 方程，強(qiáng)化學(xué)習(xí)里的 Bellman Backup，都是原理相同的動(dòng)態(tài)規(guī)劃方法。所以這個(gè)切換反倒能給我不同的視角看兩個(gè)領(lǐng)域怎么解決問(wèn)題。

2017 年暑假，我參與了西門(mén)子伯克利分部的工作，把深度強(qiáng)化學(xué)習(xí)應(yīng)用到工業(yè)生產(chǎn)中，學(xué)習(xí)策略以解決傳統(tǒng)機(jī)器人解決不了的問(wèn)題，比如高精度裝配。

當(dāng)時(shí)的任務(wù)是操作一個(gè) 3D 打印的齒輪，將其安裝到一個(gè)可活動(dòng)的機(jī)械裝置上，要求設(shè)計(jì)的算法不僅要能進(jìn)行規(guī)劃，還要能實(shí)時(shí)響應(yīng)外部變化，并制定策略成功完成裝配。這個(gè)項(xiàng)目是我在強(qiáng)化學(xué)習(xí)領(lǐng)域的起點(diǎn)，也是和 Pieter Abbeel、Sergey Levine 合作的開(kāi)始。

AI 科技評(píng)論：博士畢業(yè)后您在谷歌工作了兩年，為什么會(huì)決定重返學(xué)術(shù)，到 Sergey Levine 的組里讀博士后呢？

羅劍嵐：其實(shí)這是比較偶然的決定。

在谷歌期間，Stefan Schaal 讓我積累了很多硬核機(jī)器人知識(shí)，真正地從底層動(dòng)力學(xué)到上層控制摸清楚整個(gè)機(jī)器人系統(tǒng)。當(dāng)時(shí)我參與的項(xiàng)目注重于把 AI 用在工業(yè)生產(chǎn)上，提高生產(chǎn)力。在項(xiàng)目孵化為做工業(yè)機(jī)器人的 Intrinsic 后，我想著回國(guó)找教職，打算先做一年 part time 的博士后作為過(guò)渡，就問(wèn)了當(dāng)時(shí)也在谷歌兼職的 Sergey。

Sergey 當(dāng)時(shí)訓(xùn)練機(jī)器人完成簡(jiǎn)單操作需要幾十個(gè)小時(shí)，通過(guò)我們的合作，我的工作里插拔等工業(yè)上較精密任務(wù)的成功率有 100%，并且只用了很短的時(shí)間，意識(shí)到團(tuán)隊(duì)得有人既懂機(jī)器人系統(tǒng)又懂 learning 才好將二者結(jié)合，很熱情地建議我到他的組里全職做兩年博士后。因?yàn)槲覀z的能力比較互補(bǔ)，之前的合作又非常愉快，我便同意了。

AI 科技評(píng)論：回到伯克利后，您參與了 Open X-Embodiment 數(shù)據(jù)集的創(chuàng)建。

羅劍嵐：沒(méi)錯(cuò)，最早在 2023 年 3 月，Open X-Embodiment 還是個(gè)團(tuán)隊(duì)成員不足 10 人的小型探索項(xiàng)目，主要是伯克利、斯坦福與谷歌一起合作。我在里面負(fù)責(zé)最主要的線纜任務(wù) Cable Routing，發(fā)現(xiàn)比較可行后，就決定擴(kuò)大規(guī)模。因?yàn)橹暗臋C(jī)器人數(shù)據(jù)集都很分散，我們想把行業(yè)內(nèi)的學(xué)術(shù)、產(chǎn)業(yè)力量都拉進(jìn)來(lái)，就給所有數(shù)據(jù)集作者發(fā)郵件，最后的合作者達(dá)到了 200 多人。

AI 科技評(píng)論：在最新的 HIL-SERL 之前，您先是在 2 月發(fā)布了 SERL，可以聊聊這個(gè) idea 是怎么誕生的嗎？

羅劍嵐：要讓強(qiáng)化學(xué)習(xí)真正好用，就必須確保所有環(huán)節(jié)和選擇都正確無(wú)誤且放在合適的位置，因此盡管 AI 社區(qū)都想用強(qiáng)化學(xué)習(xí)來(lái)解決實(shí)際任務(wù)，但它門(mén)檻高，流程易出錯(cuò)且不穩(wěn)定，一直難以攻克，很多人都已放棄用強(qiáng)化學(xué)習(xí)在真實(shí)世界里訓(xùn)練策略。

所以在 2023 年初，我就萌生了一個(gè)想法，為社區(qū)提供一個(gè)開(kāi)源的、端到端的解決方案，里面包括強(qiáng)化學(xué)習(xí)環(huán)境和機(jī)器人控制器，能讓大家下載下來(lái)后直接使用，就像現(xiàn)在拿仿真器訓(xùn)練機(jī)器狗走路一樣簡(jiǎn)單。

之前我在谷歌的工作，其實(shí)也涉及強(qiáng)化學(xué)習(xí)在真實(shí)世界的應(yīng)用，比如在 2022 年我與 Sergey 的合作以及我在 DeepMind 參與的項(xiàng)目。在過(guò)往研究的鋪墊下，我在 2023 年 6 月開(kāi)始帶領(lǐng)團(tuán)隊(duì)做 SERL，與斯坦福、華盛頓大學(xué)、谷歌等幾家機(jī)構(gòu)一起合作推進(jìn)，進(jìn)一步完善了以前的工作。

SERL 第一次實(shí)現(xiàn)能通過(guò)真實(shí)世界的視覺(jué)信息，用 20 分鐘完成精密裝配，學(xué)好一個(gè)策略。在 PCB 板組裝、電纜布線和物體重定位這些復(fù)雜任務(wù)中，每個(gè)策略平均訓(xùn)練 25 到 50 分鐘，任務(wù)的成功率接近完美，而且即使在受到干擾時(shí)也能表現(xiàn)出極好的魯棒性，并展現(xiàn)出緊急恢復(fù)和校正行為。

整個(gè)研究的推進(jìn)過(guò)程是一次真正的科學(xué)探索，我們實(shí)驗(yàn)時(shí)發(fā)現(xiàn)了其中有一兩個(gè)非常關(guān)鍵的選擇，能讓整個(gè)系統(tǒng)運(yùn)行地極好，當(dāng)時(shí)我們也傻眼了。今年年初 SERL 發(fā)布后，海內(nèi)外很多機(jī)構(gòu)也開(kāi)始使用它，比如北大、波士頓動(dòng)力AI研究院、谷歌等等。

論文鏈接：https://arxiv.org/pdf/2401.16013

現(xiàn)實(shí)世界的擁護(hù)者

AI 科技評(píng)論：聽(tīng)起來(lái)您是現(xiàn)實(shí)世界和真實(shí)數(shù)據(jù)的堅(jiān)定擁護(hù)者？

羅劍嵐：沒(méi)錯(cuò)，回到 2017 年第一次接觸強(qiáng)化學(xué)習(xí)時(shí)，大家的研究都在仿真里，在 MuJoCo 模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)、刷榜、發(fā)論文還是常規(guī)操作，但我覺(jué)得那些強(qiáng)化學(xué)習(xí)的算法性能榜單并沒(méi)有解決實(shí)際問(wèn)題，與現(xiàn)實(shí)世界的機(jī)器人控制問(wèn)題其實(shí)是脫節(jié)的。實(shí)際上，強(qiáng)化學(xué)習(xí)的采樣效率一直是個(gè)問(wèn)題，至今沒(méi)有很多人用在真實(shí)機(jī)器人上。

當(dāng)然，仿真對(duì)移動(dòng)（locomotion）很有效，但這不是魔法，仿真是人根據(jù)物理模型寫(xiě)的，其實(shí)是在做基于模型的控制，只不過(guò)仿真給了更好的計(jì)算工具。

而移動(dòng)是一個(gè)相對(duì)簡(jiǎn)單的問(wèn)題，模型也比較簡(jiǎn)單，四足狗是桌子模型，雙足是倒立擺。挑戰(zhàn)在于模型不準(zhǔn)確狗摔倒，或者外界擾動(dòng)稍大走路打滑，但這些不確定比較有限。這些問(wèn)題用傳統(tǒng)的 MPC（基于模型的控制）和魯棒控制也能解決得很好，比如對(duì)不確定性有一個(gè)定量估計(jì)，那么我們可以設(shè)計(jì)出對(duì)這個(gè) bounded uncertainty 魯棒的控制器。

今天的波音客機(jī)就是根據(jù)此原則來(lái)設(shè)計(jì)控制器的，它能對(duì)油量的變化造成的飛機(jī)重量變化，高空中氣流的變化等等都保持有效，這也是民航客機(jī)能夠安全運(yùn)行，我們放心坐上去的保證，所以基于模型的控制是十分有效的，只不過(guò)入門(mén)門(mén)檻及對(duì)工程能力的要求太高，剛?cè)腴T(mén)的研究人員一般不太愿意在這上面深耕。

而在操作中，本體的模型是確定的，你讓機(jī)械臂往左走它一定會(huì)往左走，真正的難點(diǎn)在于外部環(huán)境無(wú)窮無(wú)盡的變化和難以計(jì)算的復(fù)雜物理， 比如物理接觸和柔性物體，需要處理的復(fù)雜度幾乎是無(wú)限的。

因此，在真實(shí)環(huán)境中進(jìn)行訓(xùn)練是必要的。雖然現(xiàn)在有些成功的深度學(xué)習(xí)仿真系統(tǒng)，但如果你構(gòu)建了一個(gè)仿真器，從中學(xué)習(xí)出的策略是不可能超越仿真器本身能力的。最終，你的仿真器會(huì)限制你的策略學(xué)習(xí)。我們不能因?yàn)槭褂梅抡嫫鹘鉀Q了一個(gè)相對(duì)簡(jiǎn)單的問(wèn)題就認(rèn)為它一定會(huì)解決另一個(gè)難得多的問(wèn)題，從而不去解決這個(gè)困難問(wèn)題的本質(zhì)，反而被困在“鞍點(diǎn)”里，去繞路構(gòu)造這個(gè)困難問(wèn)題的近似（proxy）來(lái)嘗試去解決它。這樣長(zhǎng)遠(yuǎn)來(lái)看，會(huì)失去找到全局最優(yōu)解的能力。

在仿真環(huán)境與現(xiàn)實(shí)世界做操作存在顯著差異，尤其是在涉及視覺(jué)輸入的情況下。因此我的研究重點(diǎn)一直放在如何設(shè)計(jì)出具有高樣本效率的算法上，而且要與硬件和控制器對(duì)接無(wú)誤。例如，在有視覺(jué)信息的情況下，能夠在 20 分鐘內(nèi)在現(xiàn)實(shí)世界中學(xué)會(huì)一個(gè)非常復(fù)雜的策略，而其他方法無(wú)法解決。

Sergey 也是真實(shí)世界數(shù)據(jù)的堅(jiān)定支持者，有次我倆徒步時(shí)聊天，說(shuō)起如果有 100 億美元，是去建世界上最大最好的仿真器，還是去收世界最大的數(shù)據(jù)集？我們的答案很一致，就是數(shù)據(jù)集。

AI 科技評(píng)論：看來(lái)您很早就開(kāi)始研究強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界中的應(yīng)用了。

羅劍嵐：是的，我對(duì)真實(shí)的機(jī)器人比較感興趣，在和西門(mén)子合作的項(xiàng)目里解決問(wèn)題時(shí)就有試著把強(qiáng)化學(xué)習(xí)用在現(xiàn)實(shí)世界，但當(dāng)時(shí)強(qiáng)化學(xué)習(xí)搞不定。它行不通，我就想把它弄明白，所以從 2017 年開(kāi)始，我就一直沿著這個(gè)主線研究，花了很長(zhǎng)時(shí)間，但我好像也沒(méi)發(fā)現(xiàn)誰(shuí)比我更快做出來(lái)，因?yàn)楹芏嗳嗽嚵艘粌纱尾?work 就放棄了。

之前很多人認(rèn)為在現(xiàn)實(shí)世界中應(yīng)用強(qiáng)化學(xué)習(xí)并不是一個(gè)好方法，因?yàn)闄C(jī)器人需要算法與硬件和控制器方面進(jìn)行極佳的對(duì)接，才能使整個(gè)系統(tǒng)運(yùn)行良好。在HIL-SERL中，我們的系統(tǒng)能在1-2小時(shí)內(nèi)利用視覺(jué)輸入，在一系列工業(yè)生產(chǎn)、動(dòng)態(tài)操控和靈巧操作的任務(wù)上取得100%的成功率。

大家現(xiàn)在使用仿真的一個(gè)主要觀點(diǎn)是機(jī)器人真實(shí)數(shù)據(jù)很難獲得，仿真可以瞬間生成 100 億數(shù)據(jù)，但沒(méi)有人會(huì)反對(duì)如果有真實(shí)數(shù)據(jù)，最有用的還是真實(shí)數(shù)據(jù)。但這不是問(wèn)題的本質(zhì)，十年后我們有一億個(gè)機(jī)器人部署在真實(shí)世界中，不斷分享著真實(shí)物理數(shù)據(jù)（physical experience），那時(shí)我們?cè)賮?lái)看現(xiàn)在的困局，很多問(wèn)題將不存在，很多觀點(diǎn)將變得無(wú)關(guān)緊要。

現(xiàn)有的數(shù)據(jù)量、部署的機(jī)器人，都不足以讓我們產(chǎn)生確切的科學(xué)結(jié)論，所以才會(huì)百家爭(zhēng)鳴。遠(yuǎn)的不說(shuō)，誰(shuí)先第一個(gè)部署 1000 臺(tái)人形機(jī)器人到工廠里，這些 24x7 傳回來(lái)的數(shù)據(jù)就足以讓我們產(chǎn)生新的范式和科學(xué)結(jié)論，我們先從這些半封閉空間的問(wèn)題入手，一旦對(duì)問(wèn)題有了更深的了解，得出的方法論才會(huì)更進(jìn)一步延伸到無(wú)約束空間的問(wèn)題。

作為科學(xué)家，我們應(yīng)該關(guān)注更遠(yuǎn)的未來(lái)，比如五年或十年后的技術(shù)發(fā)展，需要解決一些基礎(chǔ)的科學(xué)問(wèn)題，探討現(xiàn)在無(wú)法實(shí)現(xiàn)但未來(lái)可能產(chǎn)生重大影響的事情。

強(qiáng)化學(xué)習(xí)之于具身智能

AI 科技評(píng)論：大模型的誕生好像讓強(qiáng)化學(xué)習(xí)的熱潮在 Robot Learning 領(lǐng)域冷卻了不少。

羅劍嵐：如果說(shuō) 2016-2021 年的主線是以伯克利為首的強(qiáng)化學(xué)習(xí)，那么 2021 年隨著大模型興起，收集數(shù)據(jù)和大模型的結(jié)合變成了新潮流，比如說(shuō)谷歌的 RTX 系列?，F(xiàn)在的趨勢(shì)是大模型繼續(xù)火熱，強(qiáng)化學(xué)習(xí)強(qiáng)勢(shì)復(fù)蘇，二者結(jié)合，大模型實(shí)現(xiàn)初步 50-60% 的策略，再用強(qiáng)化學(xué)習(xí)算法逐步提升至 100%。

雖然我也做大模型，但我認(rèn)為自己的代表作和研究重點(diǎn)還是強(qiáng)化學(xué)習(xí)，因?yàn)?HIL-SERL 目前實(shí)現(xiàn)的成功率是 100%，周期時(shí)長(zhǎng)也更短。

如果局限于大模型，其實(shí)無(wú)論如何收集數(shù)據(jù)，人與機(jī)器人的觀察仍會(huì)存在差異。人類擁有記憶、大腦和思維，而機(jī)器人模仿人類行為時(shí)難免會(huì)有缺陷。理論上，機(jī)器人的行為無(wú)法實(shí)現(xiàn)對(duì)人類 100% 的完美復(fù)制。那么如何接近呢？這就需要強(qiáng)化學(xué)習(xí)，比如讓機(jī)器人像人類學(xué)習(xí)騎自行車(chē)一樣，通過(guò)嘗試和犯錯(cuò)來(lái)學(xué)習(xí)，看電視或父母教導(dǎo)固然有用，但要真正掌握技能，必須親自嘗試和經(jīng)歷失敗。

我預(yù)測(cè)，現(xiàn)在這些大規(guī)模使用模仿學(xué)習(xí)的創(chuàng)業(yè)公司，在他們?cè)囘^(guò)之后，知道痛點(diǎn)在哪之后，明年開(kāi)始就會(huì)用強(qiáng)化學(xué)習(xí)去優(yōu)化成功率，節(jié)拍數(shù)，和一定的魯棒性。

AI 科技評(píng)論：那您是如何看待強(qiáng)化學(xué)習(xí)在機(jī)器人學(xué)習(xí)或具身智能里發(fā)揮的作用呢？

羅劍嵐：在機(jī)器人學(xué)習(xí)中，機(jī)器人也必須與環(huán)境互動(dòng)，從環(huán)境中得到反饋，然后根據(jù)這些反饋調(diào)整策略，以達(dá)到更高的成功率——這是一個(gè)根本的邏輯問(wèn)題。與大模型不同，物理世界的機(jī)器人學(xué)習(xí)是一個(gè)復(fù)雜的系統(tǒng)，涉及多維、高維度的數(shù)據(jù)，難以簡(jiǎn)單實(shí)現(xiàn)，但一旦成功，就能超越人類，成為超級(jí)系統(tǒng)。

例如，人類需要 10 秒鐘完成的任務(wù)，機(jī)器人通過(guò)多步推理，可能只需 5 秒鐘就能完成。這是一個(gè)非常強(qiáng)大的工具，我們?nèi)栽谔剿魅绾斡行褂盟?。但可以肯定的是，它將是具身智能不可或缺的一部分。有趣的是，在和機(jī)器人領(lǐng)域的專家交流時(shí)發(fā)現(xiàn)，他們會(huì)更關(guān)注基礎(chǔ)模型完成現(xiàn)實(shí)操作任務(wù)的成功率，50-60% 會(huì)使他們失去興趣，但得知我們能實(shí)現(xiàn) 100% 便會(huì)很好奇我們的成果。

Rich Sutton 的 bitter lesson 說(shuō)歷史告訴我們 learning 和 search 是兩種可以無(wú)限 scale 的方法。模仿學(xué)習(xí)可以告訴我們?cè)趺磸臄?shù)據(jù)中找到特征，但是沒(méi)有 search 或 optimization（RL），它超越不了數(shù)據(jù)的局限，從而以新的方式解決新的問(wèn)題。

中國(guó)優(yōu)勢(shì)：高質(zhì)量、低價(jià)格

AI 科技評(píng)論：您怎么看待現(xiàn)在具身智能越來(lái)越火熱的趨勢(shì)呢？中國(guó)的優(yōu)勢(shì)在哪里？

羅劍嵐：以前的確沒(méi)想到具身智能會(huì)火，我們自己還開(kāi)玩笑說(shuō) robot learning 是個(gè)自嗨的小圈子，這么多年來(lái)我第一次覺(jué)得自己屬于主流了。

我非常認(rèn)可國(guó)內(nèi)的供應(yīng)鏈優(yōu)勢(shì)。其實(shí)有很多機(jī)器人的卡點(diǎn)是在硬件上，當(dāng)硬件做好了，軟件就可以輕松很多，得硬件和軟件一起迭代，而不是在較差的硬件上開(kāi)發(fā)算法。

當(dāng)我們提到“性價(jià)比”一詞時(shí)，總會(huì)下意識(shí)覺(jué)得這意味著“平替”的質(zhì)量差了不少，但現(xiàn)在，中國(guó)在全球產(chǎn)業(yè)鏈、供應(yīng)鏈中的作用并非僅僅是降低成本。例如，波士頓動(dòng)力的機(jī)器狗產(chǎn)品定價(jià)在 5 萬(wàn)美元，之前沒(méi)有人打破，但宇樹(shù)成功了，而且不是以低質(zhì)量的方式成功的。

中國(guó)作為擁有完整產(chǎn)業(yè)鏈的工業(yè)國(guó)家，正在重新定義產(chǎn)品價(jià)值和定價(jià)體系，目標(biāo)不是制造廉價(jià)產(chǎn)品，而是通過(guò)全產(chǎn)業(yè)鏈的優(yōu)勢(shì)，重新教育和定義市場(chǎng)，確立自己的定價(jià)權(quán)。

AI 科技評(píng)論：可以分享一下您接下來(lái)的計(jì)劃嗎？

羅劍嵐：其實(shí)我出國(guó)的時(shí)候就想回國(guó)，從來(lái)沒(méi)想過(guò)長(zhǎng)期待在海外。在學(xué)校里從事由 0 到 1 的開(kāi)創(chuàng)性科研，就算需要長(zhǎng)時(shí)間坐冷板凳，但從長(zhǎng)遠(yuǎn)來(lái)看，這價(jià)值是巨大的。人生苦短，只有幾次機(jī)會(huì)能夠?qū)崿F(xiàn)重大突破，如果錯(cuò)過(guò)了，那至少也努力過(guò)了。

我認(rèn)為突破性的原創(chuàng)研究如果能真的轉(zhuǎn)化為實(shí)際應(yīng)用，會(huì)創(chuàng)造更大的社會(huì)價(jià)值，伯克利和斯坦福的成功離不開(kāi)硅谷周遭的創(chuàng)業(yè)生態(tài)。機(jī)器人是一個(gè)與產(chǎn)業(yè)緊密結(jié)合的實(shí)用科學(xué)，能將科研成果從 1 擴(kuò)展到 100，實(shí)現(xiàn)產(chǎn)業(yè)化。在這方面我最佩服的人是李澤湘老師，他共同創(chuàng)立的大疆不僅是一家價(jià)值數(shù)百億美元的公司，更重要的是在09-10那個(gè)時(shí)間點(diǎn)證明了源自中國(guó)的硬科技創(chuàng)新是可以成功的，這徹底改變了中國(guó)科技的歷史，這個(gè)意義遠(yuǎn)大于它的經(jīng)濟(jì)價(jià)值。

Khosla venture 的創(chuàng)始人 Vinod Khosla 說(shuō)過(guò)一句話，創(chuàng)新從來(lái)不發(fā)生在一個(gè)系統(tǒng)的核心部分，它永遠(yuǎn)發(fā)生在系統(tǒng)的邊緣（“Innovation never happens at the core of a system, it always happens at the edge"）。系統(tǒng)的核心部分有它的既得利益，沒(méi)有足夠的動(dòng)力去顛覆自己的利益來(lái)創(chuàng)新，而在系統(tǒng)邊緣，一個(gè)好的想法被嘗試，然后經(jīng)歷失敗再不斷的嘗試，不確定性會(huì)變低，成功的概率就會(huì)變大，如果它足夠重要，就會(huì)產(chǎn)生顛覆性的創(chuàng)新。

就好像沒(méi)有一次的科技革命是被一個(gè)幾萬(wàn)億市值的大公司引領(lǐng)的，也很少有重大的科學(xué)發(fā)現(xiàn)是科學(xué)家快退休時(shí)做出來(lái)的。汪滔創(chuàng)業(yè)時(shí)擠在深圳十幾平米的小平房里，用今天的話來(lái)說(shuō)就是沒(méi)有資源，所以大疆的成功會(huì)激勵(lì)中國(guó)的年輕人去創(chuàng)造下 100 個(gè)、1000 個(gè)大疆。

接下來(lái)我會(huì)關(guān)注通用高性能機(jī)器人，尤其是在工業(yè)生產(chǎn)領(lǐng)域。盡管目前車(chē)廠的自動(dòng)化水平很高，但實(shí)際上還有很多工作需要人工完成，因?yàn)榻裉斓臋C(jī)器人還無(wú)法靈活地處理多變的任務(wù)。強(qiáng)化學(xué)習(xí)等技術(shù)將很快應(yīng)用到這些領(lǐng)域，改變現(xiàn)有的生產(chǎn)模式。例如，特斯拉和富士康等公司已經(jīng)開(kāi)始使用機(jī)械臂進(jìn)行柔性生產(chǎn)，以適應(yīng)不斷變化的生產(chǎn)需求。這種生產(chǎn)模式的轉(zhuǎn)變正在全球范圍內(nèi)發(fā)生，它不僅能夠提高生產(chǎn)效率，還能解放人類的創(chuàng)造力。

我認(rèn)為，全球制造業(yè)的產(chǎn)值巨大，但自動(dòng)化的比例仍然很低。如果能夠通過(guò)機(jī)器人技術(shù)提高自動(dòng)化水平，不僅可以降低人力成本，還能釋放人類的生產(chǎn)力，讓人類有更多機(jī)會(huì)去探索和創(chuàng)新。這種變革已經(jīng)在一些先進(jìn)的工廠中得到體現(xiàn)，例如現(xiàn)代汽車(chē)在新加坡的新工廠，就采用了更靈活的生產(chǎn)單元模型，取代了傳統(tǒng)的生產(chǎn)線，使得生產(chǎn)更加靈活和高效。

關(guān)于具身智能領(lǐng)域的更多精彩故事，歡迎添加雷峰網(wǎng)作者微信 anna042023 交流。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

相關(guān)文章：

伯克利具身智能圖譜：深度強(qiáng)化學(xué)習(xí)浪尖上的中國(guó) 90 后們

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。