近日，經(jīng)過數(shù)月的線上開發(fā)競(jìng)賽后，Lifelong Robotic Vision 挑戰(zhàn)賽在澳門 IROS 2019 大會(huì)上成功舉辦，多位機(jī)器人領(lǐng)域大咖到場(chǎng)參與特邀報(bào)告環(huán)節(jié)和圓桌討論。

International Conference on Intelligent Robots and Systems (IROS) 是 IEEE/RSJ 組織的機(jī)器人和智能系統(tǒng)領(lǐng)域的旗艦會(huì)議，也是目前世界上規(guī)模最大的兩個(gè)機(jī)器人領(lǐng)域會(huì)議之一（另一個(gè)是 ICRA）。今年的 IROS 于 11 月 3 日在我國澳門舉辦，為期 5 天，吸引了來自世界各地的 4000 多名學(xué)者參加。

Lifelong SLAM Challenge 是本次 IROS 中 Lifelong Robotic Vision Competition Workshop 的兩個(gè)競(jìng)賽之一 (另一個(gè)為 Lifelong Object Recognition Challenge), 旨在挑戰(zhàn)移動(dòng)機(jī)器人在動(dòng)態(tài)（Dynamic）和光照變化（Illuminate Variation）的環(huán)境中定位（Localization）和建圖（Mapping）的能力。

自 7 月份上線以來，比賽吸引了來自全球數(shù)十只隊(duì)伍參與，其中不乏北大，上海交大等實(shí)力強(qiáng)悍的科研團(tuán)隊(duì)加入賽事。九號(hào)機(jī)器人旗下的 Segway Robotics 團(tuán)隊(duì)和上海交大決賽得分超過 90 分。在 11 月 4 日最終的角逐中，Segway Robotics 團(tuán)隊(duì)以名為《Wheel Odometer-Enhanced VINS with Map-Based Localization》的方法得到本屆賽事冠軍。來自上海交通大學(xué)和北京郵電大學(xué)的團(tuán)隊(duì)分獲第二和第三名。

數(shù)據(jù)集介紹

本次比賽使用的數(shù)據(jù)集 OpenLORIS-Scene[1] 是由賽事組織方英特爾中國研究院和清華大學(xué)使用 Intel RealSense 傳感器以及 Segway Robotics 團(tuán)隊(duì)的 Segway 配送機(jī)器人 S1 采集的。

如圖，數(shù)據(jù)集提供的傳感器數(shù)據(jù)如下：

• 來自 RealSense D435i 的 RGB 圖像，深度（Depth）圖像 和 慣性傳感器（IMU）數(shù)據(jù)
  

• 來自 RealSense T265 的雙目魚眼（Fisheye）圖像和 IMU 數(shù)據(jù)
  

• 來自 S1 機(jī)器人的底盤里程計(jì)（Odometer）的數(shù)據(jù)
  

OpenLORIS-Scene 數(shù)據(jù)集包含五個(gè)不同場(chǎng)景的數(shù)據(jù)，分別是超市（Market），咖啡店（Cafe），辦公室（Office），長廊（Corridor）以及家庭（Home）。為了盡可能評(píng)估機(jī)器人在現(xiàn)實(shí)世界（Real-World）中同時(shí)定位和建圖（SLAM）的能力。這五個(gè)場(chǎng)景都包含了不同時(shí)間段的多段數(shù)據(jù)。這些數(shù)據(jù)幾乎涵蓋了機(jī)器人在現(xiàn)實(shí)中運(yùn)行的所面臨的所有挑戰(zhàn)：

1.視角變化（Viewpoint Changes）

來自 Office 數(shù)據(jù)集

2.場(chǎng)景改變（Environment Changes）

來自 Home 數(shù)據(jù)集

3.光照變化（Illumination Variation）

來自 Corridor 數(shù)據(jù)集

4.動(dòng)態(tài)場(chǎng)景（Dynamic）和低光照（Low Illumination）

來自 Corridor 數(shù)據(jù)集

由于包含了以上真實(shí)世界中對(duì)機(jī)器人運(yùn)行來說較為挑戰(zhàn)的情景，OpenLORIS-Scene 相較于目前 SLAM 領(lǐng)域常用的數(shù)據(jù)集如 KITTI，EuRoC 和 TUM Visual-Inertial Datasets 更關(guān)注于商業(yè)機(jī)器人在真實(shí)的工作環(huán)境中的表現(xiàn)。因此，該數(shù)據(jù)集對(duì) SLAM 算法的穩(wěn)健性以及適應(yīng)性提出了很高的要求。

評(píng)測(cè)指標(biāo)

本次賽事主要測(cè)評(píng) SLAM 算法兩個(gè)另個(gè)重要指標(biāo)：

1.正確定位率（Percentage of Correct Localization，簡(jiǎn)稱 CR，占 60% 權(quán)重）：

SLAM 算法得到的機(jī)器人的 6 自由度位置姿態(tài)（6D Pose）與真值（Ground Truth，由組織方使用 Vicon 以及 2D 激光雷達(dá)提供）之間的誤差小于某個(gè)閾值的個(gè)數(shù)占所以軌跡點(diǎn)的百分比。此項(xiàng)指標(biāo)的意義在于，評(píng)估機(jī)器人定位算法的準(zhǔn)確性。

2.重定位的正確率（Re-localization Score，簡(jiǎn)稱 RS，占 40% 權(quán)重）：

其中 t0 是 SLAM 算法首次正確重定位的時(shí)間，tmin 是數(shù)據(jù)開始的時(shí)間。如果機(jī)器人首次重定位的位置錯(cuò)誤（ATE，Absolute Trajectory Error 大于某個(gè)閾值），此項(xiàng)得分為零。此項(xiàng)指標(biāo)的意義在于，檢驗(yàn)機(jī)器人重定位算法在已有環(huán)境中重新定位的能力，越早的正確定位，會(huì)得到的越高的分?jǐn)?shù)。

最終的得分是這兩項(xiàng)成績的加權(quán)平均，總分為 100 分。

值得一提的是，賽事的組織方在該數(shù)據(jù)集上測(cè)試了目前較為流行（State of the Art）的開源 SLAM 算法，包括 ORB-SLAM[2], VINS-Mono[3] 以及 ElasticFusion[4] 等。這些算法在各個(gè)分段數(shù)據(jù)上表現(xiàn)尚可，如下圖。

但是，在需要在之前的數(shù)據(jù)中重新定位的情況下，這些算法的表現(xiàn)的就變得難以讓人滿意了。如下圖：

這些算法的總分均低于 50 分。這也既說明了本數(shù)據(jù)集的挑戰(zhàn)性，也說明了目前流行的開源算法不能滿足機(jī)器人在真實(shí)環(huán)境中運(yùn)行的需求。

方法和評(píng)估

方法介紹

本屆賽事中，成績較好的隊(duì)伍多數(shù)采用目前現(xiàn)有的開源算法實(shí)現(xiàn) SLAM 系統(tǒng)的前端（Front-End）和后端（Back-End）。為了應(yīng)對(duì)上文中提到的真實(shí)環(huán)境中的挑戰(zhàn)，各支隊(duì)伍多采用基于深度學(xué)習(xí)的方法來提高 SLAM 算法重定位的性能。這也于近幾年 SLAM 領(lǐng)域的發(fā)展方向相一致。

Segway Robotics 團(tuán)隊(duì)所使用的方法可以分為兩個(gè)模塊：

1. 實(shí)時(shí)定位模塊（Real-Time Localization Module）
   

2. 地圖管理模塊（Map Management Module）
   

其中實(shí)時(shí)定位模塊作為 SLAM 算法的前端，地圖管理模塊作為算法的后端。前端負(fù)責(zé)融合里程計(jì)增強(qiáng)的 VIO（Wheel Odomter-Enhanced VIO）得到的位置姿態(tài)與基于地圖得到的位置姿態(tài)。同時(shí)，地圖管理模塊負(fù)責(zé)建立地圖 (Map Builder) 以及合并地圖 (Merge Map), 用以提高機(jī)器人重定位的信息。

其中，里程計(jì)增強(qiáng)的 VIO 相較于傳統(tǒng)的 VIO（Visual Inertial Odometry）增加了輪子里程計(jì)的約束。這個(gè)改進(jìn)一方面可以抑制地面機(jī)器人在平面做運(yùn)動(dòng)中出現(xiàn)的可觀性（Observability）退化問題 [5]，另一方面也可以使得機(jī)器人在低光照和無紋理的環(huán)境中運(yùn)行，如下圖。

在系統(tǒng)中，我們使開發(fā)了基于深度學(xué)習(xí)方法的圖像檢索方法和特征點(diǎn)提取和描述算法來提高 SLAM 算法對(duì)于光照變化和大視角變化的健壯性。

來自夜晚的 Corridor 圖像能夠與來自白天的圖像找到匹配

魯棒的（Robust）特征點(diǎn)提取算法可以提高在大視角變化場(chǎng)景中的穩(wěn)健性

評(píng)估

本方法在 OpenLORIS-Scene 數(shù)據(jù)集上評(píng)估的結(jié)果如下：

其中正確定位率得分為 94.6%，重定位分?jǐn)?shù)為 93.4%，最終得分為 94.1%。

值得一提的是，Segway Robotics 團(tuán)隊(duì)在開發(fā)該系統(tǒng)時(shí)一直在使用自己的 Segway DRIVE benchmark[6] 來測(cè)評(píng)自己的方法。

該 benchmark 包含 Segway Robotics 團(tuán)隊(duì)在開發(fā)中積累的大量的真實(shí)商用場(chǎng)景的數(shù)據(jù)。

如圖，其中包含的數(shù)據(jù)大多在時(shí)間上橫跨數(shù)月。

在 Segway DRIVE benchmark 的測(cè)評(píng)中，Segway Robotics 團(tuán)隊(duì)的 SLAM 系統(tǒng)在時(shí)隔數(shù)月之后的地圖中依然可以實(shí)現(xiàn)可觀的重定位性能。

總結(jié)

Segway Robotics 的算法框架融合的多傳感器信息，包括魚眼相機(jī)，慣性測(cè)量器件以及底盤編碼器，使定位算法更加穩(wěn)定。同時(shí)，通過不斷的優(yōu)化地圖和合并地圖增加視覺感知的范圍，提高機(jī)器人的重新定位 (Relocalization) 的概率。通過這次比賽，驗(yàn)證了算法的實(shí)時(shí)定位的性能，以及在大規(guī)模室內(nèi)環(huán)境中建立一致地圖的能力。

參考文獻(xiàn)

[1] Xuesong Shi and Dongjiang Li and Pengpeng Zhao , et al. Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM[J]. arXiv preprint arXiv:1911.05603, 2019.

[2]Mur-Artal R, Tardós J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.

[3] Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.

[4] Whelan T, Leutenegger S, Salas-Moreno R, et al. ElasticFusion: Dense SLAM without a pose graph[C]. Robotics: Science and Systems, 2015.

[5]Wu K J, Guo C X, Georgiou G, et al. Vins on wheels[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2017: 5155-5162.

[6]Huai J, Qin Y, Pang F, et al. Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots[J]. arXiv preprint arXiv:1907.03424, 2019.

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。