近日，全球AMR引領(lǐng)者極智嘉(Geek+)聯(lián)合卡耐基梅隆大學(xué)(CMU)提出了的全新提取對(duì)象描述符算法，并成功在著名機(jī)器人期刊IEEE Robotics and Automation Letters(RA-L)上發(fā)表，充分印證了極智嘉在移動(dòng)機(jī)器人視覺(jué)感知和V-SLAM定位導(dǎo)航方面的創(chuàng)新能力與技術(shù)實(shí)力備受學(xué)術(shù)權(quán)威的認(rèn)可！

IEEE Robotics and Automation Letters (RA-L)是機(jī)器人領(lǐng)域的知名短文頂刊，屬JCR一區(qū)期刊，在Google h5-index上機(jī)器人領(lǐng)域綜合排名第二，期刊排名第一，享有較高知名度和權(quán)威性。

全新提取對(duì)象描述符算法

大幅提升感知和定位能力

對(duì)象描述和匹配對(duì)機(jī)器人的視覺(jué)感知及V-SLAM定位有著重要作用。尤其是在語(yǔ)義SLAM方面，對(duì)象匹配既有助于前后幀相對(duì)位姿的計(jì)算，也可以輔助更加準(zhǔn)確的檢測(cè)回環(huán)，從而建立高精度的地圖。為此，極智嘉提出全新的提取對(duì)象描述符算法，同時(shí)利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和圖神經(jīng)網(wǎng)絡(luò)(GNN)來(lái)編碼對(duì)象攜帶的信息，可用于對(duì)象的匹配和視覺(jué)重定位，大幅提升視覺(jué)地圖的精度和重定位的準(zhǔn)確率，強(qiáng)化機(jī)器人感知和定位能力，在完成更復(fù)雜的業(yè)務(wù)任務(wù)的同時(shí)減少錯(cuò)誤概率。

極智嘉訂單到人揀選機(jī)器人A60C采用激光SLAM+視覺(jué)SLAM導(dǎo)航技術(shù)運(yùn)行在人機(jī)混合的復(fù)雜場(chǎng)景中，需要非常準(zhǔn)確的定位和對(duì)象識(shí)別能力。本文提出的全新提取對(duì)象描述符算法既提升了A60C機(jī)器人的對(duì)象感知能力，也提高了該款機(jī)器人V-SLAM定位的準(zhǔn)確率，使其滿足幾乎所有工業(yè)、倉(cāng)庫(kù)場(chǎng)景實(shí)時(shí)變化的需求，并且確保人機(jī)混行的安全性。

算法成果詳解

算法的流程如圖1左所示。首先，利用卷積網(wǎng)絡(luò)提取圖像的特征圖，并用一個(gè)語(yǔ)義分割的Header和一個(gè)特征點(diǎn)提取的Header獲取這張圖像上的對(duì)象掩膜和對(duì)象上對(duì)應(yīng)的特征點(diǎn)。然后利用注意力機(jī)制將對(duì)象上離散的特征點(diǎn)形成一個(gè)加權(quán)無(wú)向圖，并用圖網(wǎng)絡(luò)處理這個(gè)加權(quán)無(wú)向圖。最后，用一個(gè)特征稀疏模塊將多個(gè)低維特征聚合成一個(gè)高維的對(duì)象描述符。

圖1.算法流程（左）和特征稀疏模塊流程（右）

為了解決不同視角下同一對(duì)象上特征點(diǎn)數(shù)量差異造成對(duì)象匹配困難的問(wèn)題，極智嘉在文中提出了一種特征稀疏聚合的算法。如圖1右所示，兩個(gè)網(wǎng)絡(luò)分支可以同時(shí)學(xué)習(xí)特征點(diǎn)內(nèi)容信息和特征點(diǎn)所占據(jù)對(duì)象描述符的位置信息，其結(jié)果按元素相乘聚合后再進(jìn)行二范數(shù)歸一化。

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)包含三部分：稀疏化損失函數(shù)——使聚合前特征點(diǎn)變得更稀疏以降低單個(gè)特征點(diǎn)對(duì)對(duì)象描述符的影響，稠密化損失函數(shù)——使最終的對(duì)象描述符更加稠密以增加描述符的空間利用率，和匹配損失函數(shù)——降低不同圖像上同一對(duì)象描述符的距離，同時(shí)增加不同對(duì)象描述符的距離。

新算法在OTB，VOT和KITTI數(shù)據(jù)集上取得了優(yōu)異的對(duì)象匹配和重定位效果，實(shí)驗(yàn)結(jié)果表明其性能超越了著名的特征聚合算法NetVLAD以及對(duì)象匹配算法PR-SR。

圖2.對(duì)象匹配實(shí)驗(yàn)結(jié)果

圖3.KITTI Odometry數(shù)據(jù)集上重定位效果

論文鏈接：https://arxiv.org/pdf/2105.00327.pdf

工程代碼：https://github.com/wang-chen/AirCode