0
為了輔助人類(lèi)，AI已經(jīng)練就了「十八般武藝」
如寫(xiě)詩(shī)作詞、繪畫(huà)、修圖，編輯視頻等等，樣樣精通。
但如果人類(lèi)只想——在凌亂的櫥柜里找到一罐豆子？AI還能幫上忙嗎？
也許真的可以！
近日，加州大學(xué)伯克利研究團(tuán)隊(duì)公布了一項(xiàng)最新成果，他們開(kāi)發(fā)了一種AI系統(tǒng)，
“該系統(tǒng)將預(yù)測(cè)目標(biāo)物體位置的可感知管道與機(jī)械搜索策略相結(jié)合，可依次選擇遮擋物體并推到一邊，以盡可能的展示目標(biāo)物體?！?/p>
簡(jiǎn)單來(lái)說(shuō)，就是他們訓(xùn)練了一個(gè)AI機(jī)器人可以在狹窄的空間內(nèi)移除遮擋物，并找到目標(biāo)物體。
他們還提供了一段Demo示例：
圖中，AI機(jī)器臂順利移開(kāi)了前面白色和紅色的遮擋物，發(fā)現(xiàn)了隱藏背后的豆子罐頭，研究人人員介紹，目前該系統(tǒng)的準(zhǔn)確率最高可達(dá)到87%以上。
看到這里你可能會(huì)好奇，為什么要研發(fā)這個(gè)看起來(lái)很簡(jiǎn)單又很日常的AI呢？
事實(shí)上，復(fù)雜環(huán)境中的目標(biāo)對(duì)象搜索是AI機(jī)器人技術(shù)的重點(diǎn)研究方向之一，其相關(guān)研究成果也不再少數(shù)，但總體而言，針對(duì)諸如貨架、廚房、壁櫥等環(huán)境下的研究卻很少。
然而，它卻在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用場(chǎng)景。
例如，醫(yī)院藥房的服務(wù)機(jī)器人可能需要從櫥柜中找到耗材；工業(yè)機(jī)器人可能需要從倉(cāng)庫(kù)貨架上找到成套工具；又或者零售商店的服務(wù)機(jī)器人可能需要在貨架上搜索所需物品等。
這項(xiàng)研究是伯克利和Google研究團(tuán)隊(duì)共同開(kāi)展的，Google研究人員稱(chēng)：
我們一直在研究將AI應(yīng)用于最日常的活動(dòng)場(chǎng)景中去，因?yàn)楦纳扑阉骱瓦x擇對(duì)象的方法是工業(yè)應(yīng)用，科學(xué)實(shí)驗(yàn)，醫(yī)療保健，零售業(yè)務(wù)以及無(wú)數(shù)商業(yè)場(chǎng)景和制造過(guò)程的核心。
需要說(shuō)明的是，以上看似簡(jiǎn)單的操作背后有著復(fù)雜的技術(shù)需求。
如研究人員介紹，醫(yī)院、倉(cāng)庫(kù)或零售貨架等場(chǎng)景，因?yàn)榭臻g有限、存在視野障礙，為AI系統(tǒng)的搜索與檢測(cè)任務(wù)帶來(lái)了極大的挑戰(zhàn)。
為此，他們提出了一種新型預(yù)測(cè)目標(biāo)位置系統(tǒng)：LAX-RAY（Lateral Access maXimal Reduction of occupancY），該系統(tǒng)支持查找貨架上被遮擋的物體，并解決物體之間“密集接觸”的操縱任務(wù)。
具體來(lái)說(shuō)，研究人員基于該系統(tǒng)提出了：分布區(qū)域縮減（DAR），分布熵縮減（DER），以及Uniform三種搜索策略。
為了測(cè)試這些策略的性能，研究人員利用一個(gè)開(kāi)放框架——一階貨架模擬器（FOSS）生成了800個(gè)難度各異的隨機(jī)貨架環(huán)境，然后將LAX-RAY系統(tǒng)和嵌入式深度感應(yīng)攝像頭部署到了Fetch機(jī)器人中進(jìn)行了測(cè)試。
結(jié)果顯示，與DER相比，DAR和DER-MT策略的表現(xiàn)更好。在模擬中，LAX-RAY系統(tǒng)準(zhǔn)確度達(dá)到了87.3％。而在實(shí)際應(yīng)用環(huán)境中，準(zhǔn)確率也達(dá)到了大約80%。這表明LAX-RAY可以在現(xiàn)實(shí)環(huán)境中有效地查找被遮擋的目標(biāo)對(duì)象。
LAX-RAY檢測(cè)系統(tǒng)分為兩個(gè)主要部分，一是預(yù)測(cè)目標(biāo)物體空間占有率感知管道；二是利用該信息有效地解決查找問(wèn)題的搜索策略。搜索策略結(jié)合感知模塊的輸出結(jié)果和每個(gè)步驟的觀(guān)察結(jié)果做出移除動(dòng)作，從而可以有效地發(fā)現(xiàn)目標(biāo)對(duì)象。
在感知管道預(yù)測(cè)之前，需要對(duì)被遮擋物體進(jìn)行深度識(shí)別和目標(biāo)對(duì)象分割。在這里，研究人員從Google掃描數(shù)據(jù)集中，渲染了5個(gè)目標(biāo)物體的30000多個(gè)圖像進(jìn)行了訓(xùn)練，其中，大約50%的圖像包含完全遮擋的目標(biāo)物體。
此外，研究人員還從一組單獨(dú)的目標(biāo)模型中渲染了10000幅圖像，這些目標(biāo)與測(cè)試集具有相似的縱橫比。
如圖，測(cè)試數(shù)據(jù)集中的遮擋對(duì)象具有不同的類(lèi)別和不同的形狀。研究人員使用動(dòng)量為0.99的隨機(jī)梯度下降法訓(xùn)練了一個(gè)完全連接的網(wǎng)絡(luò)（FCN），該網(wǎng)絡(luò)以目標(biāo)物體分割掩模和當(dāng)前貨架的深度圖像為輸入，可輸出目標(biāo)物體的位置分布密度圖。
實(shí)驗(yàn)結(jié)果如下：
研究人員把隨機(jī)的物體放在一個(gè)白色的架子上，使用嵌入在機(jī)器人上的PrimeSense RGBD相機(jī)來(lái)獲得顏色和深度圖像。在彩色圖像上使用一種顏色檢測(cè)算法，通過(guò)設(shè)置RGB值的閾值來(lái)檢測(cè)被涂成綠色的目標(biāo)對(duì)象。
如下圖顯示了在完全遮擋情況下，架子上隨機(jī)排列的目標(biāo)對(duì)象的預(yù)測(cè)結(jié)果。
圖中，5個(gè)不同的目標(biāo)物體（長(zhǎng)寬比為1:2到4:1）。左側(cè)顯示了隨機(jī)物體在架子上的顏色和PrimeSense相機(jī)拍攝的深度圖像。第一行顯示了來(lái)自預(yù)訓(xùn)練模型的二維占用率分布，第二行顯示了覆蓋深度觀(guān)測(cè)的1D占用率分布。
在實(shí)際應(yīng)用中，每個(gè)長(zhǎng)寬比的預(yù)測(cè)值有顯著差異，再次驗(yàn)證了預(yù)訓(xùn)練模型的準(zhǔn)確性。
基于感知位置信息，研究人員提出了三種搜索策略：
分布區(qū)域縮減（DAR）：使用當(dāng)前深度圖像對(duì)可用操作進(jìn)行排序，并針對(duì)每個(gè)對(duì)象計(jì)算對(duì)象掩碼，預(yù)測(cè)最小位置分布的重疊區(qū)域。
分布熵縮減（DER-n）：通過(guò)在當(dāng)前深度圖像上分割掩模的深度值來(lái)預(yù)測(cè)P?t+n，可得到新的深度圖像的占有率分布，從而得到預(yù)測(cè)狀態(tài)。
Uniform：通過(guò)DAR中預(yù)測(cè)的占用率分布來(lái)創(chuàng)建均勻分布，以代替具有遮擋對(duì)象的位置。
實(shí)驗(yàn)結(jié)果如下：
研究人員在800個(gè)場(chǎng)景上測(cè)試了DER-n（n∈{1，2，3}）DAR和Uniform策略。目標(biāo)物體使用的是長(zhǎng)寬比為1:1的綠色立方體。如果在10個(gè)操作中至少有90%的目標(biāo)物體展示出來(lái)，則認(rèn)為策略成功。
表中可以看出，DAR、DER-n策略的性能優(yōu)于Uniform策略，尤其是當(dāng)對(duì)象數(shù)量增加時(shí)。當(dāng)遮擋對(duì)象數(shù)目增加時(shí)，所有策略的性能都會(huì)下降，因?yàn)锳I機(jī)器臂需要更多的操作步驟來(lái)顯示目標(biāo)。
當(dāng)遮擋對(duì)象少于6個(gè)時(shí)，DAR的性能最好。但在6個(gè)及更多個(gè)對(duì)象的場(chǎng)景中，DER-2表現(xiàn)最好，達(dá)到了最高87.3%。其中，與DER-2相比，DER-1的性能較差，是因?yàn)闆](méi)有足夠的目標(biāo)信息被預(yù)測(cè)出來(lái)，而DER-3較差的原因，是由于預(yù)測(cè)誤差的累積。
也就是說(shuō)，當(dāng)遮擋對(duì)象數(shù)較少時(shí)，預(yù)測(cè)誤差占主導(dǎo)地位，這可以解釋DAR比DER-2性能更好的原因。
以下是DER-1查找9個(gè)遮擋物中的目標(biāo)物體的序列圖。
頂部綠色箭頭的RGB圖像，表示推動(dòng)方向和距離。底部是占用率分布的深度圖像。
每個(gè)深度圖像底部繪制的占用率分布包括三部分：上一個(gè)時(shí)間步長(zhǎng)的預(yù)測(cè)分布（藍(lán)色）、當(dāng)前時(shí)間步長(zhǎng)的預(yù)測(cè)分布（黃色）以及兩個(gè)分布中的最小值（白色）。
總之，本次研究證明了基于LAX-RAY系統(tǒng)檢測(cè)策略的可行性和準(zhǔn)確性。研究人員表示，在未來(lái)的工作中計(jì)劃研究更復(fù)雜的深度模型，并使用平行于相機(jī)的推力來(lái)為側(cè)向推力創(chuàng)造空間，或者使用氣動(dòng)吸盤(pán)來(lái)拉動(dòng)雜亂貨架上遮擋物體。
更多論文詳細(xì)內(nèi)容，請(qǐng)參見(jiàn)：https://arxiv.org/abs/2011.11696
引用鏈接：
https://techxplore.com/news/2020-11-ai-items-constricted-regions.html
https://venturebeat.com/2020/11/26/robotics-researchers-propose-ai-that-locates-items-on-shelves-and-moves-objects-without-tipping-them/
http://ai.stanford.edu/mech-search/shelf/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
