雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))消息 2024年12月27日，國(guó)家地方共建具身智能機(jī)器人創(chuàng)新中心（以下簡(jiǎn)稱(chēng)“創(chuàng)新中心”）與北京大學(xué)計(jì)算機(jī)學(xué)院聯(lián)合推出了一個(gè)大規(guī)模多構(gòu)型具身智能數(shù)據(jù)集和Benchmark——RoboMIND，基于成型標(biāo)準(zhǔn)采集，經(jīng)多個(gè)模型訓(xùn)練驗(yàn)證有效，支持多本體多任務(wù)并具備通用性，充分解決了目前全球開(kāi)源數(shù)據(jù)集，量大但數(shù)據(jù)質(zhì)量參差不齊、通用性復(fù)用性差、部分?jǐn)?shù)據(jù)實(shí)測(cè)效果不理想等問(wèn)題，有效滿足復(fù)雜場(chǎng)景具身智能高效率和針對(duì)性的訓(xùn)練。

適用于多平臺(tái)、多場(chǎng)景、多技能的數(shù)據(jù)集價(jià)值更大 

當(dāng)前具身智能本體形態(tài)多種多樣，應(yīng)用場(chǎng)景千差萬(wàn)別，對(duì)于具身智能訓(xùn)練數(shù)據(jù)的需求也更為多元。目前業(yè)內(nèi)仍有部分?jǐn)?shù)據(jù)集主要聚焦在特定機(jī)器人、特定場(chǎng)景和特定技能等方面，在整體通用性上有待提升。

創(chuàng)新中心發(fā)布的RoboMind數(shù)據(jù)集，采用了包括含單臂機(jī)器人、雙臂機(jī)器人、人形機(jī)器人，手臂末端使用夾爪或者靈巧手等多種形態(tài)的機(jī)器人本體進(jìn)行數(shù)據(jù)采集，包含了涉及279項(xiàng)不同的任務(wù)多類(lèi)場(chǎng)景，涵蓋了高達(dá)61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務(wù)場(chǎng)景，對(duì)科研突破和場(chǎng)景應(yīng)用均十分友好。創(chuàng)新中心持續(xù)采集長(zhǎng)程復(fù)雜任務(wù)，目前已經(jīng)積累數(shù)十萬(wàn)條高質(zhì)量數(shù)據(jù)，以真機(jī)數(shù)據(jù)為主，配以仿真遙操作數(shù)據(jù)。在數(shù)據(jù)質(zhì)量與使用價(jià)值上，一條數(shù)據(jù)等同于目前現(xiàn)有數(shù)據(jù)集的多條存量數(shù)據(jù)。創(chuàng)新中心計(jì)劃首批開(kāi)源10萬(wàn)條，后續(xù)逐步釋放，涵蓋更多機(jī)器人本體和場(chǎng)景任務(wù)。

 

 

Robomind數(shù)據(jù)集多形態(tài)機(jī)器人，多場(chǎng)景驗(yàn)證

據(jù)谷歌Open X-Embodiment公開(kāi)資料顯示，其數(shù)據(jù)集匯集了來(lái)自各個(gè)機(jī)構(gòu)的數(shù)據(jù)，整合了70余個(gè)獨(dú)立數(shù)據(jù)集，合計(jì)百萬(wàn)量級(jí)數(shù)據(jù)片段，涵蓋了從單臂機(jī)器人到雙臂機(jī)器人，再到四足機(jī)器人等多種不同形態(tài)的機(jī)器人。值得一提的是，雖然OpenX發(fā)布數(shù)據(jù)集高達(dá)百萬(wàn)條量級(jí)，但是大小只有3TB左右，且數(shù)據(jù)質(zhì)量和一致性差，真正可用的有效數(shù)據(jù)不足一半。此外，其實(shí)測(cè)效果較差，在其官方的小參數(shù)量模型（RT-1 35M）上，甚至不如原版RT-1的13萬(wàn)條數(shù)據(jù)訓(xùn)練的效果。創(chuàng)新中心本次發(fā)布的數(shù)據(jù)集大小是20TB，并且保證了所有數(shù)據(jù)的統(tǒng)一可用，在benchmark測(cè)試中大小模型已跑通了數(shù)據(jù)集中涵蓋的所有機(jī)器人本體。

 

Open X-Embodiment 數(shù)據(jù)集的樣本

多款模型驗(yàn)證有效，具身智能數(shù)據(jù)集邁入下一個(gè)階段

當(dāng)前市場(chǎng)上已有多家機(jī)構(gòu)開(kāi)源具身智能數(shù)據(jù)集，但由于是多個(gè)數(shù)據(jù)集整合，存在一定數(shù)據(jù)格式不統(tǒng)一，數(shù)據(jù)質(zhì)量參差不齊，需要進(jìn)行大量的二次調(diào)試、整合，難以有效滿足復(fù)雜場(chǎng)景具身智能高效率和針對(duì)性的訓(xùn)練等問(wèn)題，并且基于開(kāi)源的數(shù)據(jù)集測(cè)試訓(xùn)練效果也不盡相同。經(jīng)過(guò)驗(yàn)證后“能用”、“好用”的高質(zhì)量具身智能數(shù)據(jù)集成為了行業(yè)關(guān)注的重點(diǎn)，也是許多高校、科研機(jī)構(gòu)和企業(yè)重點(diǎn)攻克的難題。

創(chuàng)新中心發(fā)布的RoboMIND，已在主流單任務(wù)模仿學(xué)習(xí)模型（如ACT、BAKU）和具身多模態(tài)大模型（如OpenVLA、RDT-1B）進(jìn)行了評(píng)測(cè)，經(jīng)多本體和多任務(wù)的系統(tǒng)評(píng)測(cè)，證明RoboMIND數(shù)據(jù)集有效提升了模仿學(xué)習(xí)模型在現(xiàn)實(shí)場(chǎng)景下任務(wù)的成功率，率先進(jìn)入了數(shù)據(jù)集使用的下一個(gè)階段。

RoboMIND數(shù)據(jù)集實(shí)驗(yàn)驗(yàn)證

 

創(chuàng)新中心打造國(guó)內(nèi)首個(gè)具身智能數(shù)據(jù)采集標(biāo)準(zhǔn) 

具身智能數(shù)據(jù)采集需要投入大量時(shí)間和資源進(jìn)行機(jī)器人操作實(shí)踐或者仿真模擬，來(lái)收集視覺(jué)、觸覺(jué)、力覺(jué)、運(yùn)動(dòng)軌跡以及機(jī)器人本體狀態(tài)等多源異構(gòu)數(shù)據(jù)。目前業(yè)內(nèi)發(fā)布的數(shù)據(jù)集標(biāo)準(zhǔn)不一，存在數(shù)據(jù)質(zhì)量參差不齊、數(shù)據(jù)通用性復(fù)用性差、部分?jǐn)?shù)據(jù)實(shí)測(cè)效果不理想等問(wèn)題。

今年11月，國(guó)家地方共建具身智能機(jī)器人創(chuàng)新中心牽頭立項(xiàng)《人工智能 具身智能 數(shù)據(jù)采集規(guī)范》工信部行業(yè)標(biāo)準(zhǔn)，這是國(guó)內(nèi)第一個(gè)具身智能數(shù)據(jù)集的行業(yè)標(biāo)準(zhǔn)，規(guī)范了具身智能數(shù)據(jù)集采集的格式，使不同公司采集的數(shù)據(jù)可以互相共享開(kāi)源，能夠加速模型“涌現(xiàn)”。創(chuàng)新中心未來(lái)還將設(shè)計(jì)一系列數(shù)據(jù)集標(biāo)準(zhǔn)，為模型泛化保駕護(hù)航。

 

在12月的具身智能創(chuàng)新發(fā)展研討會(huì)上，創(chuàng)新中心正式發(fā)布了《具身智能標(biāo)準(zhǔn)化研究報(bào)告》、《具身智能數(shù)據(jù)集及評(píng)測(cè)研究報(bào)告》（即RoboMIND）兩項(xiàng)重磅報(bào)告，為行業(yè)的標(biāo)準(zhǔn)化與數(shù)據(jù)集建設(shè)提供指引。具身智能數(shù)據(jù)集采集標(biāo)準(zhǔn)的建立將進(jìn)一步明確具身智能數(shù)據(jù)要求及質(zhì)量等，從而加速具身智能行業(yè)的良性發(fā)展。

 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。