0
作者:王瑞昊
編輯:林覺民、李雨晨
“如果不往端到端轉(zhuǎn),你們就別干了?!?/p>
在2024年3月的春季戰(zhàn)略會(huì)上,李想當(dāng)著公司自動(dòng)駕駛團(tuán)隊(duì)的面,毫不客氣地扔下這一句話。他對(duì)當(dāng)時(shí)智駕的表現(xiàn)極度不滿,直言理想智駕已經(jīng)到了必須“破釜沉舟”的關(guān)口。
四個(gè)月后的2024年7月5日,理想汽車正式發(fā)布“端到端+VLM”系統(tǒng)。這不僅是一套技術(shù)的亮相,更是理想智駕發(fā)展道路上的分水嶺。
在此之前,理想的智駕研發(fā)像是一場持久的追趕戰(zhàn),短短四年間先后迭代了五套技術(shù)方案,從有圖到輕圖,再到無圖,每一步都在追趕卻始終達(dá)不到行業(yè)頭部。
直到第六套方案“端到端+VLM”登場,才讓理想終于從長期的追隨中,第一次體會(huì)到真正的領(lǐng)先。
一位深度參與該項(xiàng)目的內(nèi)部員工告訴雷峰網(wǎng),輕圖與無圖方案只是讓理想得以坐上自動(dòng)駕駛的牌桌,而端到端方案,則讓理想在這張牌桌上打出了自己的勝局。
2024年7月,“端到端+VLM”先在1000名早鳥用戶中試水,反饋好得出奇。一個(gè)月后,這一功能出現(xiàn)在門店試駕車上,隨即點(diǎn)燃了市場熱情。到了10月,智能駕駛試駕占比已經(jīng)達(dá)到65%,到年底幾乎成為用戶進(jìn)店體驗(yàn)的“標(biāo)配”。
用戶對(duì)端到端方案的熱情,也迅速轉(zhuǎn)化為銷量表現(xiàn)。
2024年全年,在30萬元以上車型中,AD Max(搭載“端到端+VLM”的車型)交付占比高達(dá)75.4%;在40萬元以上車型中,這一比例更是達(dá)到84.6%。而在同年2月,這一數(shù)字還只有20%。
時(shí)間撥回到2024年初,彼時(shí)的理想智駕團(tuán)隊(duì)仍被焦慮和不安籠罩。那時(shí)他們剛剛轉(zhuǎn)向無圖NOA,卻發(fā)現(xiàn)自己依舊落后于華為和小鵬一步,前途充滿不確定。誰能想到,僅僅數(shù)月之后,端到端的落地,會(huì)讓理想迎來反轉(zhuǎn)時(shí)刻。
在此之前的2023年,理想汽車開始全面向華為學(xué)習(xí),包括自動(dòng)駕駛戰(zhàn)略也在參考華為模式。
華為在自動(dòng)駕駛領(lǐng)域的整體戰(zhàn)略可以概括為“人海戰(zhàn)術(shù)”,擁有約5000名智駕工程師,行業(yè)最多。受此啟發(fā),理想汽車自2023年起大力擴(kuò)充自動(dòng)駕駛團(tuán)隊(duì),從年初的五六百人迅速增長到年底的超過1000人。
但團(tuán)隊(duì)規(guī)模的迅速擴(kuò)張,并未帶來理想預(yù)期中的效果,距離智駕追趕華為的目標(biāo)仍有較大差距。
華為的城市NOA在2023年底實(shí)現(xiàn)“全國都能開,有路就能開”。理想的城市NOA雖然在同期也開通了110個(gè)城市,但支持區(qū)域受限,僅能在城市主干道開通該功能。
更讓智駕團(tuán)隊(duì)焦慮的是,城市NOA全面推送給用戶后,收獲了一片差評(píng),不僅遭到車主吐槽,甚至還受到內(nèi)部員工的批評(píng)。
城市NOA剛一推送完,郎咸朋便帶領(lǐng)智駕團(tuán)隊(duì)全力投入無圖NOA的研發(fā)。他們將全部希望押在這一方案上,期盼無圖NOA的用戶體驗(yàn)?zāi)軌蛘嬲菲饺A為,為團(tuán)隊(duì)贏回信心。
在2024年春季戰(zhàn)略會(huì)上,當(dāng)討論如何學(xué)習(xí)華為研發(fā)無圖NOA時(shí),內(nèi)部有人建議:既然華為組建了超過5000人的研發(fā)團(tuán)隊(duì),那理想至少應(yīng)組建一支超3000人的團(tuán)隊(duì)來推進(jìn)這項(xiàng)工作。
該提議立刻招來李想的強(qiáng)烈反對(duì)。
李想對(duì)團(tuán)隊(duì)坦言,他已厭倦了每天“卷”那些corner case(危險(xiǎn)場景)的補(bǔ)丁工作:“你永遠(yuǎn)也打不完,即便堆再多人也沒用?!彼D了頓,目光掃過每一位團(tuán)隊(duì)成員:“我們必須升維競爭,要有光腳不怕穿鞋的心態(tài),反正我們也不是行業(yè)頭部?!?/p>
這場戰(zhàn)略會(huì)之前,郎咸朋心里一直忐忑:如果端到端方案做不成,該怎么辦?李想?yún)s沉著地告訴他:“理想沒有歷史包袱,現(xiàn)在端到端正是我們的機(jī)遇,我們就應(yīng)該抓住它,并為此孤注一擲?!?/p>
在決定轉(zhuǎn)端到端之前,李想已具備一定的AI認(rèn)知,他敏銳地察覺到,以AI技術(shù)為核心的端到端方案,正是理想實(shí)現(xiàn)彎道超車的機(jī)會(huì)。
2022年底ChatGPT的發(fā)布對(duì)李想產(chǎn)生了巨大影響,他認(rèn)為理想是時(shí)候下場做AI了。(為什么ChatGPT發(fā)布后,李想對(duì)AI的認(rèn)知發(fā)生了變化,其中細(xì)節(jié),歡迎添加作者微信Hugh-wangruihao交流)
一位接近李想的人士告訴雷峰網(wǎng),ChatGPT發(fā)布后,李想對(duì)AI的認(rèn)知發(fā)生了很大變化。
自2023年起,李想便開始積極提升自己在AI領(lǐng)域的認(rèn)知。最初,他拉了十幾二十個(gè)人,每周定期聊AI。團(tuán)隊(duì)會(huì)向他分享正在做的實(shí)踐案例、最新的論文研究,李想的學(xué)習(xí)速度令人驚訝。
隔了一段時(shí)間后,李想干脆取消了其它例會(huì),只保留了AI周會(huì)。隨著周會(huì)次數(shù)的增多,團(tuán)隊(duì)發(fā)現(xiàn)李想的AI認(rèn)知迭代速度驚人,幾乎是一周一個(gè)迭代。
他異于常人的地方在于,不僅能快速理解復(fù)雜概念,還能把晦澀難懂的技術(shù)轉(zhuǎn)化為任何人都能理解的類比。
例如,當(dāng)團(tuán)隊(duì)討論如何將大模型能力引入現(xiàn)有系統(tǒng)時(shí),他形象地把現(xiàn)有能力比作“猴子”:猴子可以模仿人,但永遠(yuǎn)不可能變成人。他指出,僅做“猴子”的模仿學(xué)習(xí)毫無意義,關(guān)鍵在于理解整個(gè)邏輯鏈條——從模仿學(xué)習(xí)到大模型——就像區(qū)分猴子和人的本質(zhì)差異一樣。
為了讓全公司認(rèn)識(shí)到AI的重要性,在2023年初,李想將公司愿景從 “成為全球第一的智能電動(dòng)車企業(yè)” 變更為 “成為全球領(lǐng)先的人工智能企業(yè)” 。
在李想的影響下,理想高管團(tuán)隊(duì)也在快速迭代自己的AI認(rèn)知,其中就包括自動(dòng)駕駛業(yè)務(wù)負(fù)責(zé)人郎咸朋。
2023年5月,理想高管團(tuán)隊(duì)——包括智能座艙負(fù)責(zé)人勾曉菲、產(chǎn)品負(fù)責(zé)人范皓宇,以及郎咸朋等人,一行人組團(tuán)前往美國硅谷,進(jìn)行AI考察與交流。
雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))獲悉,當(dāng)時(shí)郎咸朋不僅親自試駕了特斯拉的FSD,還專程拜訪了特斯拉自動(dòng)駕駛團(tuán)隊(duì),進(jìn)行深入交流與學(xué)習(xí)。
當(dāng)時(shí)正值特斯拉即將推出具有革命性意義的FSD v12版本之際。
特斯拉于2024年1月正式向用戶推送FSD v12,這一更新被視為自動(dòng)駕駛行業(yè)的重要里程碑。與傳統(tǒng)依賴人工編寫規(guī)則和標(biāo)注的方式不同,F(xiàn)SD v12首次引入端到端技術(shù):通過向大模型輸入數(shù)百萬段視頻片段進(jìn)行訓(xùn)練,取代了原有的30多萬行C++代碼。
就在FSD v12被廣泛討論但還未有車企跟進(jìn)之際,2023年底,理想汽車悄悄啟動(dòng)了端到端方案的預(yù)研。
理想汽車的研發(fā)模式遵循“交付一代、研發(fā)一代、預(yù)研一代”。當(dāng)時(shí),無圖NOA剛進(jìn)入研發(fā)階段,僅有少數(shù)研發(fā)人員負(fù)責(zé)端到端的預(yù)研工作。由于團(tuán)隊(duì)的工作重心全部放在無圖NOA的研發(fā)與交付上,郎咸朋尚未為端到端的研發(fā)和交付設(shè)定具體周期。
在理想汽車,研發(fā)與交付都有嚴(yán)格的時(shí)間周期,到了節(jié)點(diǎn)必須交付成果,否則將直接影響考核。
事實(shí)上,上一代方案“輕圖”的研發(fā)和交付已經(jīng)讓郎咸朋意識(shí)到,如果一直按照華為模式推進(jìn),理想的智駕恐怕難以突破。
華為在自動(dòng)駕駛領(lǐng)域的兩大優(yōu)勢——龐大的工程師團(tuán)隊(duì)和完整的制圖資質(zhì),是理想不可能具備的。
2024年3月的春季戰(zhàn)略會(huì)上,李想的一番發(fā)飆徹底點(diǎn)醒了郎咸朋。他終于意識(shí)到:照目前的做法,理想永遠(yuǎn)追不上華為,即便做到和別人一樣好,外界仍會(huì)覺得小鵬和華為更強(qiáng)。唯一的出路,就是硬著頭皮把端到端方案做出來。
那次戰(zhàn)略會(huì)上,郎咸朋第二次在李想面前立下軍令狀,語氣堅(jiān)定而帶著一絲緊繃:“想哥,你也別罵了,這話我先放這里。今年6月份,我一定把端到端做出來,效果要超過現(xiàn)在的無圖方案。如果做不出來,到時(shí)候你開我,或者我自己走?!?/p>
郎咸朋第一次在李想面前立下軍令狀,還是在2021年的“衛(wèi)城計(jì)劃”期間。那場戰(zhàn)役讓理想在自動(dòng)駕駛領(lǐng)域具備了自研能力。如今,再次立下軍令狀,他也意識(shí)到,這一次的挑戰(zhàn)比以往任何一次都更加艱巨。
2024年3月春季戰(zhàn)略會(huì)一結(jié)束,郎咸朋便著手啟動(dòng)端到端項(xiàng)目組的組建工作。彼時(shí),無圖NOA的交付仍在緊張推進(jìn)中,他沒有動(dòng)交付團(tuán)隊(duì)的人手,而是選擇從其他部門招募志愿者,組建起專門攻堅(jiān)端到端項(xiàng)目的隊(duì)伍。
就像當(dāng)年衛(wèi)城計(jì)劃初立時(shí)被普遍質(zhì)疑一樣,這一次,端到端項(xiàng)目在理想內(nèi)部同樣不被看好。彼時(shí)業(yè)界對(duì)端到端還停留在概念層面,沒有任何成功的落地案例,小鵬、華為的相關(guān)探索也都還處于萌芽階段。
就連理想自動(dòng)駕駛團(tuán)隊(duì)內(nèi)部有些人也覺得是癡人說夢。
于是,郎咸朋選擇以“秘密招募”的方式組建團(tuán)隊(duì)。他在部門大群里發(fā)出一則簡短的招募貼,并未點(diǎn)明是端到端項(xiàng)目,而是這樣寫道:我們正在啟動(dòng)一個(gè)秘密項(xiàng)目,難度極大,風(fēng)險(xiǎn)極高,也不一定能成功。但如果能做成,它將讓我們一舉超越所有競爭對(duì)手,直接躍升到行業(yè)第一。至于項(xiàng)目具體內(nèi)容,我現(xiàn)在不能透露。如果你有興趣或想法,可以主動(dòng)來報(bào)名。
郎咸朋希望借此招募到真正自愿加入的戰(zhàn)士,而不是被動(dòng)分配、心不在焉的人。只有主動(dòng)投身其中的人,才會(huì)把職業(yè)命運(yùn)與項(xiàng)目緊密捆綁,抱著背水一戰(zhàn)的決心去拼這一仗。
4月15日,在理想中關(guān)村研發(fā)中心舉行的首次誓師大會(huì)上,現(xiàn)場只有12人參會(huì)。這12人在聽完郎咸朋闡述端到端的理念后,被深深打動(dòng),隨后主動(dòng)去動(dòng)員身邊志同道合的同事加入。就這樣,項(xiàng)目逐漸在正式啟動(dòng)時(shí),成功聚攏了約100名核心成員。(端到端項(xiàng)目組建初期,為什么招募不到人員,其中細(xì)節(jié),歡迎添加作者微信Hugh-wangruihao交流)
郎咸朋為端到端項(xiàng)目取名“達(dá)摩克里斯”,寓意每個(gè)人頭頂都懸著一柄利劍,隨時(shí)可能墜下,成敗一念之間,唯有全力以赴才能保全自己。當(dāng)時(shí)郎咸朋對(duì)端到端項(xiàng)目的態(tài)度是注一擲、破釜沉舟,沒有退路,只有成功這一條路。
在理想中關(guān)村辦公室,郎咸朋專門將《達(dá)摩克利斯》油畫打印并掛在墻上
郎咸朋將端到端研發(fā)的重任交給了夏中譜。
夏中譜于2023年從百度加入理想,初到公司便與郎咸朋一同推進(jìn)百城 NOA 的交付,隨后又成為無圖 NOA 研發(fā)的中堅(jiān)力量。他最大的優(yōu)勢在于對(duì)算法有著深刻而獨(dú)到的理解,因此郎咸朋放心地把端到端研發(fā)的核心工作完全交由他統(tǒng)籌。與此同時(shí),團(tuán)隊(duì)的二號(hào)人物賈鵬則負(fù)責(zé) VLM 的研發(fā),兩條研發(fā)線并行推進(jìn)。
夏中譜于2016年從中科院博士畢業(yè),博士期間主要研究強(qiáng)化學(xué)習(xí),這在當(dāng)時(shí)屬于前沿方向。他所在的課題組是國內(nèi)最早開展強(qiáng)化學(xué)習(xí)研究的單位之一,理論積淀深厚。
2016年夏中譜參加各公司面試時(shí),強(qiáng)化學(xué)習(xí)在國內(nèi)仍鮮有人涉足,那一年正值阿爾法狗熱潮,他的專業(yè)背景為進(jìn)入百度提供了機(jī)會(huì)。加入百度后,夏中譜進(jìn)入 L4 自動(dòng)駕駛部門,工作了約八年。
在此期間,他始終專注于用強(qiáng)化學(xué)習(xí)解決核心問題,主要聚焦決策與規(guī)劃領(lǐng)域。八年間,他參與了三代技術(shù)開發(fā):第一代負(fù)責(zé)障礙物預(yù)測,第二代推進(jìn)學(xué)習(xí)化決策,第三代實(shí)現(xiàn)聯(lián)合規(guī)劃。這些算法最終成為百度 L4 系統(tǒng)的核心,并展示在阿波羅(Apollo)開源平臺(tái)上。
夏中譜加入理想汽車初期,理想智駕團(tuán)隊(duì)基礎(chǔ)相對(duì)薄弱,行業(yè)認(rèn)可度不高,也很難吸引到頂尖人才。再加上早期投入有限,許多優(yōu)秀人才被華為、小鵬、蔚來等公司吸引走。因此,在輕圖和無圖 NOA 研發(fā)階段,除了技術(shù)研發(fā),夏中譜的另一項(xiàng)主要工作就是組建團(tuán)隊(duì)、搭建組織架構(gòu)和技術(shù)基礎(chǔ)設(shè)施。
這為端到端項(xiàng)目的啟動(dòng)打下基礎(chǔ)。
到了2024年2月,端到端預(yù)研人數(shù)得到增加,夏中譜的團(tuán)隊(duì)規(guī)模擴(kuò)大到約40人;隨著4月份項(xiàng)目組的成立,他帶領(lǐng)的團(tuán)隊(duì)逐步擴(kuò)展至約180人。
不到一個(gè)月,夏中譜便帶領(lǐng)團(tuán)隊(duì)研發(fā)出了端到端的Demo版本。5月15日,一輛搭載端到端Demo的車被郎咸朋開上了路。車子雖然開得歪歪扭扭,但有一個(gè)亮點(diǎn)尤為突出——縱向控制表現(xiàn)異常出色,遠(yuǎn)超此前的有圖和無圖方案。當(dāng)時(shí)副駕的賈鵬被郎咸朋問道:“賈老師,這是你特調(diào)過的吧?”
賈鵬搖頭:“郎博,沒有,我們也覺得很神奇?!?/p>
僅靠把數(shù)據(jù)輸入到模型訓(xùn)練,效果就遠(yuǎn)超當(dāng)初團(tuán)隊(duì)手動(dòng)編寫的上萬條規(guī)則。到這一天,團(tuán)隊(duì)首次真正意識(shí)到,端到端方案,很可能真的能實(shí)現(xiàn)。
夏中譜帶領(lǐng)團(tuán)隊(duì)又攻堅(jiān)了一個(gè)月,并在6月1日交出了優(yōu)化后的Demo。
當(dāng)時(shí)正值李想準(zhǔn)備前往6月8日舉辦的重慶論壇之際,在出發(fā)前兩天,郎咸朋帶他首次體驗(yàn)端到端試駕,車上還坐著張穎——李想私交最好的投資人之一。
這是李想第一次試駕端到端,郎咸朋壓力巨大,甚至做好了如果體驗(yàn)不佳,當(dāng)場辭職的打算。
在李想試駕端到端的前一天,郎咸朋在內(nèi)部召開了一次小會(huì),討論無圖版本的交付時(shí)間。
產(chǎn)品團(tuán)隊(duì)和交付團(tuán)隊(duì)都給郎咸朋施壓:“郎博,我們要做兩手準(zhǔn)備,如果端到端失敗了,我們還能有無圖版本交付,所以你必須留人留資源,把無圖版本交上?!?/p>
郎咸朋當(dāng)場反駁:“你們能不能相信我一次?要么就別做端到端,要做就把它做好。如此瞻前顧后,怎么可能成功?”
郎咸朋情緒激動(dòng),堅(jiān)持認(rèn)為端到端只需再等一個(gè)月,就能顯著超越現(xiàn)有能力。在5月15日的試駕中,端到端僅經(jīng)過一個(gè)月研發(fā),其縱向控制能力便已全面超越之前的規(guī)則版本;再給一個(gè)月,其成長潛力將令所有人震驚。
由于其他人尚未對(duì)端到端有直觀體驗(yàn),這次會(huì)議后,公司緊急召回了已被裁員的50人去負(fù)責(zé)無圖版本的交付。
但僅僅過了兩天,李想親自試駕后,團(tuán)隊(duì)的所有質(zhì)疑都煙消云散。
試駕當(dāng)天,陪同李想一起上車的,還有他的老朋友、經(jīng)緯創(chuàng)投管理合伙人張穎。張穎不僅是理想汽車的早期投資人,更是李想在創(chuàng)業(yè)路上最信任的私交伙伴之一。
兩人認(rèn)識(shí)已久——早在理想汽車最艱難的融資階段,張穎曾三次伸出援手。李想后來在公司上市演講中公開感謝三人,除了CFO李鐵、推薦145位車主的老友外,張穎是唯一被提名的投資人。他在臺(tái)上說:“公司每次遇到融資難題,張穎總是第一個(gè)沖上來幫忙?!?/p>
這一次,張穎再次出現(xiàn)在理想的重要時(shí)刻。
那天,李想在北京順義總部附近試駕理想最新的端到端版本。車輛自動(dòng)行駛著,最初他沉默不語,神情專注;隨著系統(tǒng)在復(fù)雜路況中一次次平穩(wěn)應(yīng)對(duì),他的表情逐漸舒展,語氣也越來越興奮,不時(shí)轉(zhuǎn)頭與張穎交流:“哎,這真好!未來的自動(dòng)駕駛就該這么做。”
張穎坐在副駕,目光始終盯著前方,也忍不住笑出聲來。他評(píng)價(jià)道:“這是我體驗(yàn)過的智駕系統(tǒng)中,表現(xiàn)最好的一版。如果滿分是10分,我會(huì)給今天試駕打9分?!?/p>
李想的興奮一直持續(xù)到重慶論壇。原本團(tuán)隊(duì)為他的演講準(zhǔn)備了其他內(nèi)容,但他臨時(shí)自行改稿,全程脫稿講述理想自動(dòng)駕駛的發(fā)展路線與未來愿景。

在試駕此前的智駕系統(tǒng)時(shí),李想最多只是認(rèn)為數(shù)據(jù)是個(gè)不錯(cuò)的工具,但這一次的端到端體驗(yàn)徹底改變了他對(duì) AI 的認(rèn)知,他更加深刻體會(huì)到AI能力的強(qiáng)大:“我靠,原來這個(gè)模型,能力竟然這么強(qiáng)。”
自此之后,理想內(nèi)部才第一次真正開始相信端到端。
2024年底,李想宣布理想汽車將All in AI,這一決定,與他第一次試駕端到端所帶來的震撼密切相關(guān),正是那次經(jīng)歷讓他下決心全面押注AI。
李想試駕后,郎咸朋獲得了更多資源全力推進(jìn)端到端項(xiàng)目。此后,夏中譜領(lǐng)導(dǎo)的算法團(tuán)隊(duì)規(guī)模從原先的40人擴(kuò)大至160人,數(shù)據(jù)、仿真與測試團(tuán)隊(duì)也擴(kuò)展到近300人,使整個(gè)端到端項(xiàng)目的總?cè)藬?shù)超過400人。
2024年7月5日,理想正式舉辦發(fā)布首次對(duì)外發(fā)布了端到端方案,并在同月完成了千人推送。
智駕團(tuán)隊(duì)參加參加AI talk錄制,從左到右分別是:詹錕、郎咸朋、賈鵬
此后端到端項(xiàng)目進(jìn)入用戶交付階段。
2024年10月23日,理想“端到端+VLM”開啟全量推送,率先支持城市場景。
2025年1月16日,“端到端+VLM”將支持場景拓展至高速和環(huán)路,理想由此成為國內(nèi)唯一、全球第二家將端到端技術(shù)應(yīng)用于全場景的車企。
一位深度參與端到端項(xiàng)目的內(nèi)部員工告訴雷峰網(wǎng),從4月份項(xiàng)目啟動(dòng)到7月份交付,大約只用了100天,中間沒有出現(xiàn)過任何紕漏。相比之下,其他公司如華為、小鵬等,在端到端方面至今未達(dá)到理想當(dāng)時(shí)的一段式端到端水平。而理想僅用100天就完成了千人推送,并在10月份實(shí)現(xiàn)全量推送,隔年1月份完成了高速和城市場景的統(tǒng)一。
理想的端到端量產(chǎn)奇跡,帶給行業(yè)的啟示是多方面的。
理想的端到端,第一次讓行業(yè)見識(shí)到了如何花最少的錢,辦最大的事。
一位內(nèi)部員工向雷峰網(wǎng)透露,理想端到端項(xiàng)目的核心算法團(tuán)隊(duì)不足200人,相比競爭對(duì)手華為、小鵬、蔚來等少得多;即便算上整個(gè)項(xiàng)目總?cè)藬?shù),理想也僅超400人,而競爭對(duì)手的自動(dòng)駕駛團(tuán)隊(duì)規(guī)模通常都超過1000人。
在如此有限的投入下,理想的端到端項(xiàng)目卻取得了驚人的成功——它不僅讓理想的智駕水平一躍成為行業(yè)頭部,還直接帶來了銷量。在此之前,智駕功能更多只是錦上添花,很難成為促使消費(fèi)者下決心購車的關(guān)鍵因素。
2024年初,AD Max車型在理想整體銷量中的占比僅為20%;但自7月份端到端完成千人推送后,這一局面迅速發(fā)生逆轉(zhuǎn)。
千人推送驗(yàn)證效果良好后,理想迅速將端到端推廣到線下門店,一時(shí)間掀起了消費(fèi)者的試駕熱情,試駕端到端的用戶比例陡然上升至超70%,不少消費(fèi)者反饋,端到端體驗(yàn)甚至優(yōu)于華為的乾崑智駕。
到了年底,搭載端到端智駕系統(tǒng)的車型在理想整體銷量中的占比已超過70%,相比年初的20%實(shí)現(xiàn)了大幅躍升。
理想的端到端項(xiàng)目從4月份啟動(dòng)研發(fā)到7月份完成千人交付,僅用了約100天。這得益于整個(gè)研發(fā)與交付過程中沒有出現(xiàn)任何紕漏,否則項(xiàng)目進(jìn)度本可能大幅延誤。
100天奇跡首先要?dú)w功于團(tuán)隊(duì)的通力協(xié)作和應(yīng)用技術(shù)的領(lǐng)先性。
理想端到端項(xiàng)目的技術(shù)負(fù)責(zé)人是夏中譜,他2023年加入理想后負(fù)責(zé)智駕系統(tǒng)的決策規(guī)劃模塊,當(dāng)時(shí)郎咸朋給夏中譜的定位是:用數(shù)據(jù)的方式,打造理想下一代自動(dòng)駕駛系統(tǒng)。
夏中譜(右一)駕車測試端到端系統(tǒng)
夏中譜在2023年加入理想后便著手端到端預(yù)研,但當(dāng)時(shí)主要任務(wù)仍是交付有圖和無圖NOA,真正專注于端到端的預(yù)研團(tuán)隊(duì)只有幾個(gè)人。直到2024年2月,整個(gè)端到端組織才完全劃歸給夏中譜,夏中譜算法團(tuán)隊(duì)規(guī)模增加到40人;到了4月份,預(yù)研階段結(jié)束,郎咸朋告知夏中譜開始為量產(chǎn)做準(zhǔn)備。
從4月15日到7月,僅不到100天的時(shí)間,夏中譜帶領(lǐng)團(tuán)隊(duì)便完成了端到端千人推送的交付,這一過程之快在行業(yè)內(nèi)極為罕見。整個(gè)研發(fā)過程中,團(tuán)隊(duì)基本沒有出現(xiàn)任何錯(cuò)誤,否則7月份的交付根本不可能如期完成。值得注意的是,當(dāng)時(shí)團(tuán)隊(duì)算法規(guī)模僅有40人,算力配置也只有2000卡,是最小化配置條件。(夏中譜為什么能憑借2000張卡就做出了端到端,其中細(xì)節(jié),歡迎添加作者微信Hugh-wangruihao交流)
從早期算法定義、數(shù)據(jù)定義,到線上框架和產(chǎn)品定義,夏中譜幾乎從零搭建了整個(gè)系統(tǒng)。在此過程中,確保各個(gè)模塊及各個(gè)團(tuán)隊(duì)之間的緊密協(xié)作成為核心挑戰(zhàn)。
一位項(xiàng)目成員告訴雷峰網(wǎng),團(tuán)隊(duì)成員之間的高效配合、信息流通和協(xié)作執(zhí)行,是端到端項(xiàng)目能夠在如此短時(shí)間內(nèi)順利推進(jìn)、并且無偏差完成的關(guān)鍵經(jīng)驗(yàn)。
另一個(gè)關(guān)鍵在于前瞻性地應(yīng)用了一段式端到端技術(shù)。
一段式端到端是一種設(shè)計(jì)非常前沿且非常干凈的技術(shù),突破了傳統(tǒng)模塊化方法的局限。傳統(tǒng)自動(dòng)駕駛研發(fā)通常依賴規(guī)則化和模塊化方式:感知、地圖、規(guī)劃與控制、數(shù)據(jù)和仿真測試各自獨(dú)立運(yùn)作。雖然這種方法可以快速跑通最小閉環(huán),實(shí)現(xiàn)局部優(yōu)化,但最終只能得到局部最優(yōu)解,難以形成全局最優(yōu)。
端到端大模型技術(shù)將感知、規(guī)控、定位、地圖等模塊集成到一個(gè)網(wǎng)絡(luò)中,一次性處理所有任務(wù),實(shí)現(xiàn)系統(tǒng)化設(shè)計(jì)。數(shù)據(jù)從一開始就經(jīng)過精心規(guī)劃;模型訓(xùn)練直接以任務(wù)目標(biāo)為導(dǎo)向,無需拆分成多個(gè)獨(dú)立模塊;測試環(huán)節(jié)圍繞端到端算法定制設(shè)計(jì),從而提高效率并降低復(fù)雜度。通過云端、車端與算法的緊密配合,整個(gè)系統(tǒng)能夠?qū)崿F(xiàn)全局最優(yōu),以最低成本、最快速度完成研發(fā)。
夏中譜的優(yōu)勢在于,他是一個(gè)對(duì)自動(dòng)駕駛?cè)I(lǐng)域、全技術(shù)都非常精通的人,清楚地知道每個(gè)模塊的短板在哪里(以前每個(gè)模塊都是獨(dú)立的,一個(gè)的短板就是整體的短板),并能通過全局思維,將一個(gè)模塊的短板用其它模塊彌補(bǔ),使各個(gè)模塊形成合力,從而實(shí)現(xiàn)全局最優(yōu)。
對(duì)于郎咸朋和夏中譜來說,在這個(gè)過程中,不僅要求他們對(duì)整個(gè)技術(shù)體系有全面的理解,同時(shí)還要明確技術(shù)架構(gòu)如何與組織協(xié)同配合。這不僅關(guān)乎技術(shù)本身,還涉及人才梯隊(duì)的建設(shè),需要將人、事、組織以及它們之間的關(guān)系有機(jī)協(xié)調(diào),用系統(tǒng)性的思維進(jìn)行拆解和把控,這一點(diǎn)至關(guān)重要。
正是這種對(duì)技術(shù)與組織的雙重統(tǒng)籌,使端到端項(xiàng)目在不到100天的時(shí)間里完成千人交付,并迅速實(shí)現(xiàn)全量推送與場景拓展,從而讓理想汽車在智能駕駛領(lǐng)域?qū)崿F(xiàn)了彎道超車。
長里程路測端到端的高速性能
如果把這100天的量產(chǎn)奇跡比作一次聚光燈下的舞臺(tái)演出,那么能否成功,表面上取決于演出的內(nèi)容是否契合時(shí)代潮流,以及每位演員之間的默契配合。但決定性的因素,實(shí)際上是這場演出背后長達(dá)數(shù)年的持續(xù)準(zhǔn)備與積累。
對(duì)于理想來說,決定100天量產(chǎn)奇跡的決定性因素在于,郎咸朋從入職理想起就開始搭建的數(shù)據(jù)閉環(huán)系統(tǒng)。
這也正是理想能夠用數(shù)百人的團(tuán)隊(duì),交出媲美甚至超越競爭對(duì)手?jǐn)?shù)千乃至上萬人團(tuán)隊(duì)成果的智駕系統(tǒng)的根本所在。
郎咸朋第一次感受到數(shù)據(jù)的重要性來自于他在百度時(shí)期的一次研發(fā)經(jīng)歷。
在2014年到2015年期間,郎咸朋擔(dān)任百度街景業(yè)務(wù)部門的技術(shù)負(fù)責(zé)人。當(dāng)時(shí),街景部門的算法資源十分有限,為提升街景識(shí)別率,郎咸朋主動(dòng)尋求支持,找到時(shí)任百度IDL常務(wù)副院長余凱,請求借助深度學(xué)習(xí)技術(shù)來突破瓶頸。余凱隨即調(diào)派了IDL的核心成員、時(shí)任百度高級(jí)科學(xué)家黃暢前來協(xié)助。 在黃暢的協(xié)助下,街景識(shí)別率一路被提升至86%。當(dāng)時(shí)黃暢對(duì)郎咸朋說了一句話:“我們已經(jīng)用上了世界上最先進(jìn)的模型。”

黃暢(右一)、余凱(右三)
在此之前,郎咸朋依靠傳統(tǒng)機(jī)器學(xué)習(xí)的方法,識(shí)別率可以做到70%左右。
那是一個(gè)需要“人海戰(zhàn)術(shù)”的年代。彼時(shí),百度街景的數(shù)據(jù)采集剛剛起步,車輛跑遍全國各大城市,帶回來的數(shù)據(jù)量以幾百個(gè)T 計(jì)。僅北京這樣一個(gè)大型城市,道路里程就有兩三萬公里。問題隨之而來——國家規(guī)定,街景不能出現(xiàn)人臉和車牌等敏感信息。于是,必須在所有圖像里,把這些信息一一抹掉。
怎么做呢?只能靠人力。街景團(tuán)隊(duì)本身就有三五百人,再加上外包團(tuán)隊(duì),規(guī)模一度擴(kuò)張到上千人。每天的工作,就是逐幀逐張地標(biāo)記圖像,把人臉和車牌打上框,再做模糊處理。這是個(gè)沒完沒了的工程。全國四百多個(gè)城市的數(shù)據(jù)量壓下來,工作量巨大,既耗錢、又耗人,更關(guān)鍵的是耗時(shí)間。
團(tuán)隊(duì)當(dāng)然想過用算法來減輕負(fù)擔(dān)。當(dāng)時(shí)人臉識(shí)別和車牌識(shí)別在學(xué)術(shù)層面已經(jīng)有成果,可一旦落到真實(shí)世界,問題立刻暴露出來:魚眼相機(jī)帶來的嚴(yán)重畸變,讓人臉和車牌變形得面目全非;公交車廣告上的人臉經(jīng)常被錯(cuò)認(rèn)成真實(shí)人臉。
自動(dòng)化的識(shí)別率最高只能做到70%,而且其中還有不少誤判和漏判。假如一張圖里有100個(gè)需要打碼的地方,算法只能標(biāo)出70個(gè),還可能錯(cuò)掉其中的30 個(gè),剩下的30個(gè)完全漏掉。這種“半吊子”的結(jié)果,反而需要人花更多時(shí)間去修正。相比之下,還不如直接全程人工。
更讓人頭疼的是,街景里可不只是路人和車牌。有時(shí),國家檔案館、公安局,甚至一些不掛牌的涉密單位門口,這些敏感人物和場景,絕對(duì)不能有一絲遺漏,否則后果嚴(yán)重。
在這樣的壓力下,團(tuán)隊(duì)只能繼續(xù)依賴人力。但所有人都明白:這是條走不通的路。于是,郎咸朋找到了余凱團(tuán)隊(duì)前來協(xié)助。
黃暢很快做出了模型,識(shí)別率提升到了86% ——相比原來的70%已經(jīng)是飛躍式的提升。但即便如此,仍然與人工95%左右的水準(zhǔn)差了關(guān)鍵的9個(gè)點(diǎn)。郎咸朋追問余凱、黃暢能不能再提升,得到的回答卻是:“郎博,你再找全世界任何一個(gè)人來都不可能了。我們已經(jīng)用上了最先進(jìn)的模型,這是極限了,你們自己想辦法吧?!?/p>
這段經(jīng)歷讓郎咸朋第一次真切感受到:真實(shí)世界的復(fù)雜性,遠(yuǎn)比實(shí)驗(yàn)室里的理論要復(fù)雜得多。
萬般無奈之下,郎咸朋決定換個(gè)思路——不用去追逐“更聰明的大腦”,而是想辦法讓“腦子吃飽飯”。他意識(shí)到,再強(qiáng)大的模型,如果輸入的數(shù)據(jù)不夠充分,也難以產(chǎn)出理想的結(jié)果。
當(dāng)時(shí)用于訓(xùn)練的樣本圖片量是一萬張左右。在那個(gè)年代,這已經(jīng)算得上“大規(guī)?!绷?。于是,郎咸朋將樣本量擴(kuò)大10倍至10萬張,并且?guī)ьI(lǐng)團(tuán)隊(duì)上手精標(biāo)了其中的5萬張。這次,郎咸朋沒有使用黃暢研發(fā)出的“世界上最先進(jìn)的模型”,只使用了普通的開源CNN框架,結(jié)果以一訓(xùn)練,識(shí)別率直接沖到了 90%。
那是郎咸朋第一次見識(shí)到數(shù)據(jù)的威力,大家的眼睛一下就亮了,“原來在AI世界里,數(shù)據(jù)才是第一生產(chǎn)力。算力差點(diǎn)、模型差點(diǎn)都沒關(guān)系,只要數(shù)據(jù)好,結(jié)果就有效。”
這個(gè)發(fā)現(xiàn)瞬間調(diào)動(dòng)起了所有人的熱情。大家一鼓作氣,把十萬張樣本全部精標(biāo)完成。新的訓(xùn)練結(jié)果更是令人振奮:車牌識(shí)別準(zhǔn)確率達(dá)到99%,人臉識(shí)別率也穩(wěn)定在97%。這不僅超越了人工標(biāo)注的95%,更重要的是,徹底擺脫了對(duì)上千人外包團(tuán)隊(duì)的依賴。識(shí)別交給機(jī)器后,只需加數(shù)據(jù),就能源源不斷“嘩嘩”地跑出結(jié)果。
這對(duì)公司而言,是一次真正的降維打擊:成本驟降,效率暴漲。當(dāng)時(shí)郎咸朋的上級(jí)顧維灝看到結(jié)果后都驚訝不已:“郎博,原來這個(gè)能做到這么好?趕緊推!”
效果甚至引來了競爭對(duì)手的關(guān)注。那時(shí)騰訊地圖也在做街景,是百度地圖的直接對(duì)手。他們的人跑來打聽:“你們是怎么做到的?怎么能又快又好?”
前后對(duì)比的沖突極為鮮明:從最初上千人耗時(shí)耗力地手工標(biāo)注,到后來依靠深度學(xué)習(xí)+大規(guī)模高質(zhì)量數(shù)據(jù),不僅識(shí)別率超過人工,還一舉解決了效率和成本問題。這次突破,讓郎咸朋第一次切身體會(huì)到:AI的真正壁壘,不是模型,而是數(shù)據(jù)。
從此,數(shù)據(jù)驅(qū)動(dòng)的理念成為郎咸朋開展研發(fā)的核心武器。
2017年,李想曾問郎咸朋,在自動(dòng)駕駛中哪一項(xiàng)最關(guān)鍵。郎咸朋回答:數(shù)據(jù)。沒有足夠的數(shù)據(jù)去區(qū)分和訓(xùn)練,再強(qiáng)的算力和最優(yōu)的算法也無法充分發(fā)揮作用。(郎咸朋離開百度后為何加入理想汽車,其中考慮,歡迎添加作者微信Hugh-wangruihao交流)
2018年加入理想后,郎咸朋便開始著手搭建數(shù)據(jù)閉環(huán)系統(tǒng),構(gòu)建起完整的獲取、處理與應(yīng)用數(shù)據(jù)的體系。到了2019年第四季度,理想交付第一輛車時(shí),這套系統(tǒng)便正式投入運(yùn)行。
為了獲取更多且更高質(zhì)量的數(shù)據(jù),從理想的第一款車型理想ONE開始,智駕系統(tǒng)的軟件和硬件就全部標(biāo)配,使每輛車都具備完整的數(shù)據(jù)收集與采集能力。在國內(nèi)車企中,只有理想做到這一點(diǎn),其他廠商要么硬件不是標(biāo)配,要么軟件需要額外付費(fèi)。
郎咸朋對(duì)傳感器布局極為堅(jiān)持,他對(duì)李想說,無論是L6、L7、L8還是L9車型,傳感器的布局必須保持一致??梢愿鼡Q芯片,但傳感器的位置和數(shù)量不能更改。曾有人建議更換部分傳感器,郎咸朋明確表示,可以去掉激光雷達(dá),但視覺和圖像傳感器的布局必須完全按照原設(shè)計(jì)執(zhí)行。
這種統(tǒng)一的布局保證了每輛車采集的數(shù)據(jù)標(biāo)準(zhǔn)化和可比性(可以復(fù)用),使得整個(gè)數(shù)據(jù)閉環(huán)系統(tǒng)高效運(yùn)作,并為后續(xù)算法訓(xùn)練提供了可靠、統(tǒng)一的數(shù)據(jù)基礎(chǔ)。
截至2025年8月29日,理想用戶輔助駕駛總里程達(dá)到49億公里,作為比較,截止到2025年7月,華為乾崑智駕活躍用戶數(shù)達(dá)70萬人,智能輔助駕駛總里程突破35億公里。
從2021年的衛(wèi)城計(jì)劃,到2024年的端到端方案,郎咸朋帶領(lǐng)理想智駕團(tuán)隊(duì)在短短三年間完成了五輪技術(shù)方案迭代,實(shí)現(xiàn)了智駕水平從落后到追趕,再到行業(yè)領(lǐng)先的三級(jí)跳。
對(duì)于數(shù)據(jù)的認(rèn)知,是理想智駕在過去幾年反超速度快,交付效果好的根本原因。
進(jìn)入2025年,理想汽車的智駕系統(tǒng)再次迭代到了VLA方案,那么,這一次,它憑借什么實(shí)現(xiàn)領(lǐng)先?
本文作者長期關(guān)注理想汽車,歡迎對(duì)理想汽車感興趣的讀者添加作者微信 Hugh-wangruihao 交流。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。