0
本文作者: 吳華秀 | 2025-06-26 14:36 |
在具身智能研發(fā)中,往往普遍存在以下數(shù)據(jù)問題:數(shù)據(jù)模態(tài)缺失、數(shù)據(jù)采集流程繁瑣、任務(wù)數(shù)據(jù)管理繁雜、模型訓(xùn)練推理部署門檻高等難題。諸多瓶頸成為具身智能模型從實(shí)驗(yàn)室走向規(guī)?;瘧?yīng)用的“攔路虎”。零次方深耕具身智能領(lǐng)域,以自身模型開發(fā)經(jīng)歷為基礎(chǔ),深悉行業(yè)痛點(diǎn),推出“全模態(tài)”具身數(shù)據(jù)全鏈路解決方案,突破數(shù)據(jù)瓶頸,加速模型訓(xùn)練開發(fā),涵蓋:“全模態(tài)”數(shù)據(jù)采集設(shè)備、數(shù)據(jù)采集與管理平臺(tái)、模型訓(xùn)練與模型推理工具鏈,旨在徹底解決上述痛點(diǎn)問題。
解決方案如上圖所示
技術(shù)路線上:當(dāng)前具身智能模型的發(fā)展仍處于發(fā)展期,各研究團(tuán)隊(duì)的技術(shù)路線逐漸向更豐富的模態(tài)探索:
視覺-關(guān)節(jié)融合方案(如ACT、Diffusion Policy、DP3等):通過聯(lián)合嵌入視覺信息與機(jī)器人本體感知,利用本體數(shù)據(jù)補(bǔ)償視覺觀測歧義性,提升動(dòng)作泛化能力,但因缺乏力學(xué)反饋,在物理交互密集型任務(wù)中適應(yīng)性不足。
語義-視覺-關(guān)節(jié)融合方案(如Pi0、GROOT等):引入語義信息(如語言指令/場景描述)增強(qiáng)環(huán)境與長序列任務(wù)的理解,結(jié)合視覺與關(guān)節(jié)狀態(tài)實(shí)現(xiàn)多模態(tài)決策,提升復(fù)雜任務(wù)泛化性。
視覺-關(guān)節(jié)-力聯(lián)合建模(如RDP等)引入力/觸覺反饋構(gòu)建物理表征,提升泛精密操作的魯棒性;
更為齊全的模態(tài)架構(gòu)正成為新趨勢,通過跨模態(tài)對(duì)齊實(shí)現(xiàn)環(huán)境-物理-語義的協(xié)同推理。
在此背景下,零次方的全模態(tài)數(shù)據(jù)架構(gòu)具備雙重核心優(yōu)勢:
1. 維度兼容性:全模態(tài)數(shù)據(jù)高維數(shù)據(jù)可自然降維生成任意子模態(tài)數(shù)據(jù)集(如剝離力觸覺獲得純視覺-關(guān)節(jié)數(shù)據(jù)),兼容現(xiàn)存所有算法范式的訓(xùn)練需求;
2. 價(jià)值持續(xù)性:預(yù)設(shè)傳感器冗余通道,集成工具標(biāo)注對(duì)齊多模態(tài)數(shù)據(jù)流,為正在演進(jìn)的VLA、跨模態(tài)對(duì)齊、物理因果推理、世界模型等等未來3-5年可能涌現(xiàn)的具身模型提供燃料。
這種前瞻性設(shè)計(jì)能兼容當(dāng)下技術(shù)生態(tài)、支撐長期算法進(jìn)化的“高維數(shù)據(jù)基座”。此外,零次方的“全模態(tài)”數(shù)采人形機(jī)器人 ZERITH-H1,完美兼顧零次方的全模態(tài)數(shù)據(jù)架構(gòu)設(shè)計(jì),實(shí)現(xiàn)全模態(tài)數(shù)據(jù)采集與落地。
“擬人”身體架構(gòu),“超人”活動(dòng)范圍:ZERITH-H1的上肢結(jié)構(gòu)、自由度設(shè)計(jì)全部參考人類的身體,并在此基礎(chǔ)上大幅增加關(guān)節(jié)的活動(dòng)范圍,使得其具備超越成年男性的靈活操作空間。
ZERITH-H1 基礎(chǔ)參數(shù)介紹
高維度“全模態(tài)”傳感器設(shè)計(jì):為應(yīng)對(duì)具身智能模型訓(xùn)練普遍存在的“數(shù)據(jù)模態(tài)缺失”問題,零次方機(jī)器人在Zerith-H1設(shè)計(jì)階段即整合了各種模態(tài)的傳感器,可實(shí)現(xiàn)對(duì)二維視覺信息、三維空間信息、關(guān)節(jié)信息、力觸覺信息、聲音信息的“完整”模態(tài)信息采集。
集成觸覺感知,抓取豆腐等易碎物
特別的是,針對(duì)于力觸覺感知部分,ZERITH-H1搭載了觸覺夾爪,集成了高分辨率視觸覺傳感器,實(shí)現(xiàn)對(duì)抓取力觸覺的精準(zhǔn)感知。零次方在視觸覺傳感器方面技術(shù)積累深厚,源于清華AI&Robot實(shí)驗(yàn)室。實(shí)驗(yàn)室曾提出過超越人類觸覺感知水平的超光譜視觸覺傳感方案,相關(guān)視觸覺成果多次獲ICRA、IROS Best Paper Finalists、多次在T-RO、Soft Robotics、T-MECH上發(fā)表相關(guān)研究。
低延遲、高動(dòng)態(tài)響應(yīng)的遙操系統(tǒng):為了進(jìn)一步滿足實(shí)時(shí)同步操作的需求,零次方將機(jī)器人與采集者通訊延遲無限推進(jìn)至零延遲,實(shí)現(xiàn)“孿生式”映射同步感知;同時(shí)整體設(shè)備連續(xù)運(yùn)行時(shí)間超過4小時(shí),滿足長時(shí)間不間斷的數(shù)據(jù)采集需求。
VR遙操演示
VR APP 快速構(gòu)建物理世界與虛擬世界交互渠道:基于主流vr設(shè)備自研ZERITH-VR APP,實(shí)現(xiàn)遙操作設(shè)備與機(jī)器人本體、具身數(shù)據(jù)管理平臺(tái)超低數(shù)據(jù)傳輸延時(shí)。同時(shí)通過“一鍵式”設(shè)備連接、“引導(dǎo)式”數(shù)據(jù)采集工作流,幫助用戶快速掌握復(fù)雜任務(wù)數(shù)據(jù)采集能力,確保數(shù)據(jù)收集質(zhì)量、提升數(shù)據(jù)采集效率。
ZERITH-VR APP界面
針對(duì)數(shù)據(jù)采集任務(wù)多樣、采集流程繁雜、數(shù)據(jù)管理及可視化等需求,零次方自研具身數(shù)據(jù)管理平臺(tái)用于數(shù)據(jù)全流程管理,依托自身開發(fā)模型的經(jīng)歷,通過數(shù)萬次的數(shù)據(jù)采集與測試,不斷測試數(shù)據(jù)管理平臺(tái)易用性,現(xiàn)正式對(duì)外推出具有:對(duì)具身任務(wù)數(shù)據(jù)分類、清洗、標(biāo)注、檢索等模塊化高易用性的具身數(shù)據(jù)采集管理平臺(tái)。
具身數(shù)據(jù)采集流程
同時(shí),為讓用戶可快速、便捷式將數(shù)據(jù)集應(yīng)用于模型訓(xùn)練,零次方數(shù)據(jù)平臺(tái)設(shè)計(jì)兼容主流開源算法框架的標(biāo)準(zhǔn)化接口(如ACT、Diffusion Policy、DP3等);數(shù)據(jù)接口兼容對(duì)基座模型(Pi0、GROOT、ZERITH-V0等)的后訓(xùn)練(LORA、Full tuning、RL等),提供符合許可證要求的快速訓(xùn)練接入能力。
在模型訓(xùn)練過程,零次方深度集成AI訓(xùn)練工具Swanlab,實(shí)現(xiàn)對(duì)模型訓(xùn)練的全過程記錄、實(shí)時(shí)監(jiān)控、數(shù)據(jù)可視化與批量實(shí)驗(yàn)分析,幫助用戶科學(xué)調(diào)參、管理歷史訓(xùn)練實(shí)驗(yàn)數(shù)據(jù),高效迭代自己的具身智能模型。
訓(xùn)練過程可視化監(jiān)控與記錄
在模型推理上,機(jī)器人最高可選500TOPS算力主機(jī),集成易用部署的框架,優(yōu)化推理效果,實(shí)現(xiàn)絲滑動(dòng)作執(zhí)行,真實(shí)可見的在場景中的落地效果。
雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。