作者 | 賴文昕

編輯 | 陳彩嫻

近日，伯克利大學(xué) Sergey Levine 團(tuán)隊發(fā)布了一項強(qiáng)化學(xué)習(xí)方向的重磅工作——HIL-SERL，引起了具身智能領(lǐng)域的廣泛討論與關(guān)注。

根據(jù)實(shí)驗結(jié)果，基于強(qiáng)化學(xué)習(xí)框架 HIL-SERL，研究者可以直接在現(xiàn)實(shí)世界中訓(xùn)練基于視覺的通用機(jī)器人操作策略。其中，機(jī)器人經(jīng)過 1~2.5 小時的訓(xùn)練后，就能完成主板、儀表盤以及正時皮帶組裝等操作任務(wù)。

而且，機(jī)器人完成所有任務(wù)的成功率均高達(dá) 100%！

這些任務(wù)包括組裝家具、顛勺煎蛋、鞭打積木、插入 U 盤等操作，即使在人為干擾的情況下，機(jī)器人也依舊能夠穩(wěn)定、靈活地完成任務(wù)。

此前，強(qiáng)化學(xué)習(xí)（RL）總是被業(yè)內(nèi)人士詬病其只能在模擬環(huán)境中改進(jìn)算法性能，無法解決現(xiàn)實(shí)世界里真實(shí)機(jī)器人的問題。但 SERL 系列的工作證明，真機(jī) RL 不是天方夜譚——如今，強(qiáng)化學(xué)習(xí)不僅能應(yīng)用在現(xiàn)實(shí)世界中，且在精準(zhǔn)靈巧的操作任務(wù)上效果極佳，且遠(yuǎn)超模仿學(xué)習(xí)方法，節(jié)拍數(shù)也平均快了 1.8 倍。

換言之，SERL 是真機(jī) RL 機(jī)器人領(lǐng)域的一個劃時代工作。而這個工作的核心作者，就是中國青年科學(xué)家、伯克利在讀博士后羅劍嵐。

羅劍嵐

今年年初，羅劍嵐團(tuán)隊提出了高效機(jī)器人強(qiáng)化學(xué)習(xí)套件 SERL，機(jī)器人能用 20 分鐘學(xué)會裝配電路板，成功率同樣是 100%。

HIL-SERL 是基于 SERL 的升級版。但不同的是，HIL-SERL 結(jié)合了人類的示范和糾正來訓(xùn)練強(qiáng)化學(xué)習(xí)策略，而 SERL 僅依賴于人類的示范。

加入人類糾正這一微小的差異，對于讓策略從錯誤中學(xué)習(xí)并提高性能至關(guān)重要，特別是針對那些對智能體來說得從頭開始學(xué)習(xí)的任務(wù)。而且，HIL-SERL 專注于相對困難的任務(wù)，還解決雙臂協(xié)調(diào)或動態(tài)操作的問題。

項目鏈接：https://hil-serl.github.io/

HIL-SERL 的效果也出乎了羅劍嵐與導(dǎo)師 Sergey Levine 的預(yù)料，看到成果后，Sergey 對羅劍嵐說的第一句話就是：“You really made RL work.”（你真的讓強(qiáng)化學(xué)習(xí)跑起來了。）

在不久前 AI 科技評論發(fā)布的《伯克利具身智能圖譜》一文中，我們簡單介紹了羅劍嵐在伯克利研究強(qiáng)化學(xué)習(xí)與機(jī)器人結(jié)合的故事?；厮葸^去，羅劍嵐已在機(jī)器人真機(jī) RL 方向“固執(zhí)”了將近十年時間。

2015 年，羅劍嵐到伯克利機(jī)械工程系讀機(jī)器人控制博士，同時開始探索 Robotics+AI，并在 Pieter Abbeel 的指導(dǎo)下攻讀計算機(jī)系碩士。在他的博士論文答辯中，Pieter 也是他的博士答辯委員會 co-chair。

在強(qiáng)化學(xué)習(xí)里，仿真器是不可缺失的一環(huán)，在模擬環(huán)境中實(shí)驗測試結(jié)果的分?jǐn)?shù)越高，算法效果自然就更好。但同時，如何將強(qiáng)化學(xué)習(xí)落地到現(xiàn)實(shí)世界中也是機(jī)器人領(lǐng)域一直懸而未決的問題。畢竟，MuJoCo 的物理模擬再精確，也并非真實(shí)的物理世界。

于是，從博二的第一個強(qiáng)化學(xué)習(xí)工作開始，羅劍嵐就一直在研究如何讓強(qiáng)化學(xué)習(xí)在真實(shí)世界中落地。這當(dāng)中，強(qiáng)化學(xué)習(xí)的研究從 AlphaGo 的如日中天到變得漸漸冷門、甚至被行業(yè)唱衰，但羅劍嵐一直堅信，機(jī)器人的真機(jī) RL 是一個長期命題，一旦克服、將對機(jī)器人學(xué)習(xí)的突破產(chǎn)生范式般的變革。

2020 年博士畢業(yè)后，羅劍嵐加入了谷歌，先后在 DeepMind、Everyday Robot 與 Google X 等部門工作，由此學(xué)習(xí)了更多從底層動力學(xué)到上層控制的機(jī)器人系統(tǒng)知識。與此同時，他也一直堅持探索機(jī)器人與強(qiáng)化學(xué)習(xí)的結(jié)合。

2022 年，當(dāng)所參與項目被孵化為工業(yè)機(jī)器人創(chuàng)企 Intrinsic 后，羅劍嵐重新回到了伯克利，在 Sergey Levine 團(tuán)隊當(dāng)博士后，是 Sergey 組最堅定的 RL 研究者。SERL 系列工作的探索，也是羅劍嵐在伯克利探索真機(jī) RL 多年來取得的最具突破性成果。

以下是 AI 科技評論與羅劍嵐的對話。

重返學(xué)術(shù)

AI 科技評論：您在伯克利機(jī)械系讀博，那最早是如何接觸深度強(qiáng)化學(xué)習(xí)的呢？

羅劍嵐：機(jī)械系做的范圍大而全，我是控制方向的，最早控制論和強(qiáng)化學(xué)習(xí)就是對偶的存在，比如控制里的 HJB 方程，強(qiáng)化學(xué)習(xí)里的 Bellman Backup，都是原理相同的動態(tài)規(guī)劃方法。所以這個切換反倒能給我不同的視角看兩個領(lǐng)域怎么解決問題。

2017 年暑假，我參與了西門子伯克利分部的工作，把深度強(qiáng)化學(xué)習(xí)應(yīng)用到工業(yè)生產(chǎn)中，學(xué)習(xí)策略以解決傳統(tǒng)機(jī)器人解決不了的問題，比如高精度裝配。

當(dāng)時的任務(wù)是操作一個 3D 打印的齒輪，將其安裝到一個可活動的機(jī)械裝置上，要求設(shè)計的算法不僅要能進(jìn)行規(guī)劃，還要能實(shí)時響應(yīng)外部變化，并制定策略成功完成裝配。這個項目是我在強(qiáng)化學(xué)習(xí)領(lǐng)域的起點(diǎn)，也是和 Pieter Abbeel、Sergey Levine 合作的開始。

AI 科技評論：博士畢業(yè)后您在谷歌工作了兩年，為什么會決定重返學(xué)術(shù)，到 Sergey Levine 的組里讀博士后呢？

羅劍嵐：其實(shí)這是比較偶然的決定。

在谷歌期間，Stefan Schaal 讓我積累了很多硬核機(jī)器人知識，真正地從底層動力學(xué)到上層控制摸清楚整個機(jī)器人系統(tǒng)。當(dāng)時我參與的項目注重于把 AI 用在工業(yè)生產(chǎn)上，提高生產(chǎn)力。在項目孵化為做工業(yè)機(jī)器人的 Intrinsic 后，我想著回國找教職，打算先做一年 part time 的博士后作為過渡，就問了當(dāng)時也在谷歌兼職的 Sergey。

Sergey 當(dāng)時訓(xùn)練機(jī)器人完成簡單操作需要幾十個小時，通過我們的合作，我的工作里插拔等工業(yè)上較精密任務(wù)的成功率有 100%，并且只用了很短的時間，意識到團(tuán)隊得有人既懂機(jī)器人系統(tǒng)又懂 learning 才好將二者結(jié)合，很熱情地建議我到他的組里全職做兩年博士后。因為我倆的能力比較互補(bǔ)，之前的合作又非常愉快，我便同意了。

AI 科技評論：回到伯克利后，您參與了 Open X-Embodiment 數(shù)據(jù)集的創(chuàng)建。

羅劍嵐：沒錯，最早在 2023 年 3 月，Open X-Embodiment 還是個團(tuán)隊成員不足 10 人的小型探索項目，主要是伯克利、斯坦福與谷歌一起合作。我在里面負(fù)責(zé)最主要的線纜任務(wù) Cable Routing，發(fā)現(xiàn)比較可行后，就決定擴(kuò)大規(guī)模。因為之前的機(jī)器人數(shù)據(jù)集都很分散，我們想把行業(yè)內(nèi)的學(xué)術(shù)、產(chǎn)業(yè)力量都拉進(jìn)來，就給所有數(shù)據(jù)集作者發(fā)郵件，最后的合作者達(dá)到了 200 多人。

AI 科技評論：在最新的 HIL-SERL 之前，您先是在 2 月發(fā)布了 SERL，可以聊聊這個 idea 是怎么誕生的嗎？

羅劍嵐：要讓強(qiáng)化學(xué)習(xí)真正好用，就必須確保所有環(huán)節(jié)和選擇都正確無誤且放在合適的位置，因此盡管 AI 社區(qū)都想用強(qiáng)化學(xué)習(xí)來解決實(shí)際任務(wù)，但它門檻高，流程易出錯且不穩(wěn)定，一直難以攻克，很多人都已放棄用強(qiáng)化學(xué)習(xí)在真實(shí)世界里訓(xùn)練策略。

所以在 2023 年初，我就萌生了一個想法，為社區(qū)提供一個開源的、端到端的解決方案，里面包括強(qiáng)化學(xué)習(xí)環(huán)境和機(jī)器人控制器，能讓大家下載下來后直接使用，就像現(xiàn)在拿仿真器訓(xùn)練機(jī)器狗走路一樣簡單。

之前我在谷歌的工作，其實(shí)也涉及強(qiáng)化學(xué)習(xí)在真實(shí)世界的應(yīng)用，比如在 2022 年我與 Sergey 的合作以及我在 DeepMind 參與的項目。在過往研究的鋪墊下，我在 2023 年 6 月開始帶領(lǐng)團(tuán)隊做 SERL，與斯坦福、華盛頓大學(xué)、谷歌等幾家機(jī)構(gòu)一起合作推進(jìn)，進(jìn)一步完善了以前的工作。

SERL 第一次實(shí)現(xiàn)能通過真實(shí)世界的視覺信息，用 20 分鐘完成精密裝配，學(xué)好一個策略。在 PCB 板組裝、電纜布線和物體重定位這些復(fù)雜任務(wù)中，每個策略平均訓(xùn)練 25 到 50 分鐘，任務(wù)的成功率接近完美，而且即使在受到干擾時也能表現(xiàn)出極好的魯棒性，并展現(xiàn)出緊急恢復(fù)和校正行為。

整個研究的推進(jìn)過程是一次真正的科學(xué)探索，我們實(shí)驗時發(fā)現(xiàn)了其中有一兩個非常關(guān)鍵的選擇，能讓整個系統(tǒng)運(yùn)行地極好，當(dāng)時我們也傻眼了。今年年初 SERL 發(fā)布后，海內(nèi)外很多機(jī)構(gòu)也開始使用它，比如北大、波士頓動力AI研究院、谷歌等等。

論文鏈接：https://arxiv.org/pdf/2401.16013

現(xiàn)實(shí)世界的擁護(hù)者

AI 科技評論：聽起來您是現(xiàn)實(shí)世界和真實(shí)數(shù)據(jù)的堅定擁護(hù)者？

羅劍嵐：沒錯，回到 2017 年第一次接觸強(qiáng)化學(xué)習(xí)時，大家的研究都在仿真里，在 MuJoCo 模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)實(shí)驗、刷榜、發(fā)論文還是常規(guī)操作，但我覺得那些強(qiáng)化學(xué)習(xí)的算法性能榜單并沒有解決實(shí)際問題，與現(xiàn)實(shí)世界的機(jī)器人控制問題其實(shí)是脫節(jié)的。實(shí)際上，強(qiáng)化學(xué)習(xí)的采樣效率一直是個問題，至今沒有很多人用在真實(shí)機(jī)器人上。

當(dāng)然，仿真對移動（locomotion）很有效，但這不是魔法，仿真是人根據(jù)物理模型寫的，其實(shí)是在做基于模型的控制，只不過仿真給了更好的計算工具。

而移動是一個相對簡單的問題，模型也比較簡單，四足狗是桌子模型，雙足是倒立擺。挑戰(zhàn)在于模型不準(zhǔn)確狗摔倒，或者外界擾動稍大走路打滑，但這些不確定比較有限。這些問題用傳統(tǒng)的 MPC（基于模型的控制）和魯棒控制也能解決得很好，比如對不確定性有一個定量估計，那么我們可以設(shè)計出對這個 bounded uncertainty 魯棒的控制器。

今天的波音客機(jī)就是根據(jù)此原則來設(shè)計控制器的，它能對油量的變化造成的飛機(jī)重量變化，高空中氣流的變化等等都保持有效，這也是民航客機(jī)能夠安全運(yùn)行，我們放心坐上去的保證，所以基于模型的控制是十分有效的，只不過入門門檻及對工程能力的要求太高，剛?cè)腴T的研究人員一般不太愿意在這上面深耕。

而在操作中，本體的模型是確定的，你讓機(jī)械臂往左走它一定會往左走，真正的難點(diǎn)在于外部環(huán)境無窮無盡的變化和難以計算的復(fù)雜物理， 比如物理接觸和柔性物體，需要處理的復(fù)雜度幾乎是無限的。

因此，在真實(shí)環(huán)境中進(jìn)行訓(xùn)練是必要的。雖然現(xiàn)在有些成功的深度學(xué)習(xí)仿真系統(tǒng)，但如果你構(gòu)建了一個仿真器，從中學(xué)習(xí)出的策略是不可能超越仿真器本身能力的。最終，你的仿真器會限制你的策略學(xué)習(xí)。我們不能因為使用仿真器解決了一個相對簡單的問題就認(rèn)為它一定會解決另一個難得多的問題，從而不去解決這個困難問題的本質(zhì)，反而被困在“鞍點(diǎn)”里，去繞路構(gòu)造這個困難問題的近似（proxy）來嘗試去解決它。這樣長遠(yuǎn)來看，會失去找到全局最優(yōu)解的能力。

在仿真環(huán)境與現(xiàn)實(shí)世界做操作存在顯著差異，尤其是在涉及視覺輸入的情況下。因此我的研究重點(diǎn)一直放在如何設(shè)計出具有高樣本效率的算法上，而且要與硬件和控制器對接無誤。例如，在有視覺信息的情況下，能夠在 20 分鐘內(nèi)在現(xiàn)實(shí)世界中學(xué)會一個非常復(fù)雜的策略，而其他方法無法解決。

Sergey 也是真實(shí)世界數(shù)據(jù)的堅定支持者，有次我倆徒步時聊天，說起如果有 100 億美元，是去建世界上最大最好的仿真器，還是去收世界最大的數(shù)據(jù)集？我們的答案很一致，就是數(shù)據(jù)集。

AI 科技評論：看來您很早就開始研究強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界中的應(yīng)用了。

羅劍嵐：是的，我對真實(shí)的機(jī)器人比較感興趣，在和西門子合作的項目里解決問題時就有試著把強(qiáng)化學(xué)習(xí)用在現(xiàn)實(shí)世界，但當(dāng)時強(qiáng)化學(xué)習(xí)搞不定。它行不通，我就想把它弄明白，所以從 2017 年開始，我就一直沿著這個主線研究，花了很長時間，但我好像也沒發(fā)現(xiàn)誰比我更快做出來，因為很多人試了一兩次不 work 就放棄了。

之前很多人認(rèn)為在現(xiàn)實(shí)世界中應(yīng)用強(qiáng)化學(xué)習(xí)并不是一個好方法，因為機(jī)器人需要算法與硬件和控制器方面進(jìn)行極佳的對接，才能使整個系統(tǒng)運(yùn)行良好。在HIL-SERL中，我們的系統(tǒng)能在1-2小時內(nèi)利用視覺輸入，在一系列工業(yè)生產(chǎn)、動態(tài)操控和靈巧操作的任務(wù)上取得100%的成功率。

大家現(xiàn)在使用仿真的一個主要觀點(diǎn)是機(jī)器人真實(shí)數(shù)據(jù)很難獲得，仿真可以瞬間生成 100 億數(shù)據(jù)，但沒有人會反對如果有真實(shí)數(shù)據(jù)，最有用的還是真實(shí)數(shù)據(jù)。但這不是問題的本質(zhì)，十年后我們有一億個機(jī)器人部署在真實(shí)世界中，不斷分享著真實(shí)物理數(shù)據(jù)（physical experience），那時我們再來看現(xiàn)在的困局，很多問題將不存在，很多觀點(diǎn)將變得無關(guān)緊要。

現(xiàn)有的數(shù)據(jù)量、部署的機(jī)器人，都不足以讓我們產(chǎn)生確切的科學(xué)結(jié)論，所以才會百家爭鳴。遠(yuǎn)的不說，誰先第一個部署 1000 臺人形機(jī)器人到工廠里，這些 24x7 傳回來的數(shù)據(jù)就足以讓我們產(chǎn)生新的范式和科學(xué)結(jié)論，我們先從這些半封閉空間的問題入手，一旦對問題有了更深的了解，得出的方法論才會更進(jìn)一步延伸到無約束空間的問題。

作為科學(xué)家，我們應(yīng)該關(guān)注更遠(yuǎn)的未來，比如五年或十年后的技術(shù)發(fā)展，需要解決一些基礎(chǔ)的科學(xué)問題，探討現(xiàn)在無法實(shí)現(xiàn)但未來可能產(chǎn)生重大影響的事情。

強(qiáng)化學(xué)習(xí)之于具身智能

AI 科技評論：大模型的誕生好像讓強(qiáng)化學(xué)習(xí)的熱潮在 Robot Learning 領(lǐng)域冷卻了不少。

羅劍嵐：如果說 2016-2021 年的主線是以伯克利為首的強(qiáng)化學(xué)習(xí)，那么 2021 年隨著大模型興起，收集數(shù)據(jù)和大模型的結(jié)合變成了新潮流，比如說谷歌的 RTX 系列?，F(xiàn)在的趨勢是大模型繼續(xù)火熱，強(qiáng)化學(xué)習(xí)強(qiáng)勢復(fù)蘇，二者結(jié)合，大模型實(shí)現(xiàn)初步 50-60% 的策略，再用強(qiáng)化學(xué)習(xí)算法逐步提升至 100%。

雖然我也做大模型，但我認(rèn)為自己的代表作和研究重點(diǎn)還是強(qiáng)化學(xué)習(xí)，因為 HIL-SERL 目前實(shí)現(xiàn)的成功率是 100%，周期時長也更短。

如果局限于大模型，其實(shí)無論如何收集數(shù)據(jù)，人與機(jī)器人的觀察仍會存在差異。人類擁有記憶、大腦和思維，而機(jī)器人模仿人類行為時難免會有缺陷。理論上，機(jī)器人的行為無法實(shí)現(xiàn)對人類 100% 的完美復(fù)制。那么如何接近呢？這就需要強(qiáng)化學(xué)習(xí)，比如讓機(jī)器人像人類學(xué)習(xí)騎自行車一樣，通過嘗試和犯錯來學(xué)習(xí)，看電視或父母教導(dǎo)固然有用，但要真正掌握技能，必須親自嘗試和經(jīng)歷失敗。

我預(yù)測，現(xiàn)在這些大規(guī)模使用模仿學(xué)習(xí)的創(chuàng)業(yè)公司，在他們試過之后，知道痛點(diǎn)在哪之后，明年開始就會用強(qiáng)化學(xué)習(xí)去優(yōu)化成功率，節(jié)拍數(shù)，和一定的魯棒性。

AI 科技評論：那您是如何看待強(qiáng)化學(xué)習(xí)在機(jī)器人學(xué)習(xí)或具身智能里發(fā)揮的作用呢？

羅劍嵐：在機(jī)器人學(xué)習(xí)中，機(jī)器人也必須與環(huán)境互動，從環(huán)境中得到反饋，然后根據(jù)這些反饋調(diào)整策略，以達(dá)到更高的成功率——這是一個根本的邏輯問題。與大模型不同，物理世界的機(jī)器人學(xué)習(xí)是一個復(fù)雜的系統(tǒng)，涉及多維、高維度的數(shù)據(jù)，難以簡單實(shí)現(xiàn)，但一旦成功，就能超越人類，成為超級系統(tǒng)。

例如，人類需要 10 秒鐘完成的任務(wù)，機(jī)器人通過多步推理，可能只需 5 秒鐘就能完成。這是一個非常強(qiáng)大的工具，我們?nèi)栽谔剿魅绾斡行褂盟?。但可以肯定的是，它將是具身智能不可或缺的一部分。有趣的是，在和機(jī)器人領(lǐng)域的專家交流時發(fā)現(xiàn)，他們會更關(guān)注基礎(chǔ)模型完成現(xiàn)實(shí)操作任務(wù)的成功率，50-60% 會使他們失去興趣，但得知我們能實(shí)現(xiàn) 100% 便會很好奇我們的成果。

Rich Sutton 的 bitter lesson 說歷史告訴我們 learning 和 search 是兩種可以無限 scale 的方法。模仿學(xué)習(xí)可以告訴我們怎么從數(shù)據(jù)中找到特征，但是沒有 search 或 optimization（RL），它超越不了數(shù)據(jù)的局限，從而以新的方式解決新的問題。

中國優(yōu)勢：高質(zhì)量、低價格

AI 科技評論：您怎么看待現(xiàn)在具身智能越來越火熱的趨勢呢？中國的優(yōu)勢在哪里？

羅劍嵐：以前的確沒想到具身智能會火，我們自己還開玩笑說 robot learning 是個自嗨的小圈子，這么多年來我第一次覺得自己屬于主流了。

我非常認(rèn)可國內(nèi)的供應(yīng)鏈優(yōu)勢。其實(shí)有很多機(jī)器人的卡點(diǎn)是在硬件上，當(dāng)硬件做好了，軟件就可以輕松很多，得硬件和軟件一起迭代，而不是在較差的硬件上開發(fā)算法。

當(dāng)我們提到“性價比”一詞時，總會下意識覺得這意味著“平替”的質(zhì)量差了不少，但現(xiàn)在，中國在全球產(chǎn)業(yè)鏈、供應(yīng)鏈中的作用并非僅僅是降低成本。例如，波士頓動力的機(jī)器狗產(chǎn)品定價在 5 萬美元，之前沒有人打破，但宇樹成功了，而且不是以低質(zhì)量的方式成功的。

中國作為擁有完整產(chǎn)業(yè)鏈的工業(yè)國家，正在重新定義產(chǎn)品價值和定價體系，目標(biāo)不是制造廉價產(chǎn)品，而是通過全產(chǎn)業(yè)鏈的優(yōu)勢，重新教育和定義市場，確立自己的定價權(quán)。

AI 科技評論：可以分享一下您接下來的計劃嗎？

羅劍嵐：其實(shí)我出國的時候就想回國，從來沒想過長期待在海外。在學(xué)校里從事由 0 到 1 的開創(chuàng)性科研，就算需要長時間坐冷板凳，但從長遠(yuǎn)來看，這價值是巨大的。人生苦短，只有幾次機(jī)會能夠?qū)崿F(xiàn)重大突破，如果錯過了，那至少也努力過了。

我認(rèn)為突破性的原創(chuàng)研究如果能真的轉(zhuǎn)化為實(shí)際應(yīng)用，會創(chuàng)造更大的社會價值，伯克利和斯坦福的成功離不開硅谷周遭的創(chuàng)業(yè)生態(tài)。機(jī)器人是一個與產(chǎn)業(yè)緊密結(jié)合的實(shí)用科學(xué)，能將科研成果從 1 擴(kuò)展到 100，實(shí)現(xiàn)產(chǎn)業(yè)化。在這方面我最佩服的人是李澤湘老師，他共同創(chuàng)立的大疆不僅是一家價值數(shù)百億美元的公司，更重要的是在09-10那個時間點(diǎn)證明了源自中國的硬科技創(chuàng)新是可以成功的，這徹底改變了中國科技的歷史，這個意義遠(yuǎn)大于它的經(jīng)濟(jì)價值。

Khosla venture 的創(chuàng)始人 Vinod Khosla 說過一句話，創(chuàng)新從來不發(fā)生在一個系統(tǒng)的核心部分，它永遠(yuǎn)發(fā)生在系統(tǒng)的邊緣（“Innovation never happens at the core of a system, it always happens at the edge"）。系統(tǒng)的核心部分有它的既得利益，沒有足夠的動力去顛覆自己的利益來創(chuàng)新，而在系統(tǒng)邊緣，一個好的想法被嘗試，然后經(jīng)歷失敗再不斷的嘗試，不確定性會變低，成功的概率就會變大，如果它足夠重要，就會產(chǎn)生顛覆性的創(chuàng)新。

就好像沒有一次的科技革命是被一個幾萬億市值的大公司引領(lǐng)的，也很少有重大的科學(xué)發(fā)現(xiàn)是科學(xué)家快退休時做出來的。汪滔創(chuàng)業(yè)時擠在深圳十幾平米的小平房里，用今天的話來說就是沒有資源，所以大疆的成功會激勵中國的年輕人去創(chuàng)造下 100 個、1000 個大疆。

接下來我會關(guān)注通用高性能機(jī)器人，尤其是在工業(yè)生產(chǎn)領(lǐng)域。盡管目前車廠的自動化水平很高，但實(shí)際上還有很多工作需要人工完成，因為今天的機(jī)器人還無法靈活地處理多變的任務(wù)。強(qiáng)化學(xué)習(xí)等技術(shù)將很快應(yīng)用到這些領(lǐng)域，改變現(xiàn)有的生產(chǎn)模式。例如，特斯拉和富士康等公司已經(jīng)開始使用機(jī)械臂進(jìn)行柔性生產(chǎn)，以適應(yīng)不斷變化的生產(chǎn)需求。這種生產(chǎn)模式的轉(zhuǎn)變正在全球范圍內(nèi)發(fā)生，它不僅能夠提高生產(chǎn)效率，還能解放人類的創(chuàng)造力。

我認(rèn)為，全球制造業(yè)的產(chǎn)值巨大，但自動化的比例仍然很低。如果能夠通過機(jī)器人技術(shù)提高自動化水平，不僅可以降低人力成本，還能釋放人類的生產(chǎn)力，讓人類有更多機(jī)會去探索和創(chuàng)新。這種變革已經(jīng)在一些先進(jìn)的工廠中得到體現(xiàn)，例如現(xiàn)代汽車在新加坡的新工廠，就采用了更靈活的生產(chǎn)單元模型，取代了傳統(tǒng)的生產(chǎn)線，使得生產(chǎn)更加靈活和高效。

關(guān)于具身智能領(lǐng)域的更多精彩故事，歡迎添加雷峰網(wǎng)作者微信 anna042023 交流。雷峰網(wǎng)(公眾號：雷峰網(wǎng))

相關(guān)文章：

伯克利具身智能圖譜：深度強(qiáng)化學(xué)習(xí)浪尖上的中國 90 后們

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。