吉林大学学报(工学版) ›› 2023, Vol. 53 ›› Issue (9): 2666-2675.doi: 10.13229/j.cnki.jdxbgxb.20211293

• 通信与控制工程 • 上一篇    下一篇

基于均匀ORB特征的回环检测算法

陈绵书1(),于录录1,李晓妮1,郑宏宇2   

  1. 1.吉林大学 通信工程学院,长春 130022
    2.吉林大学 汽车仿真与控制国家重点实验室,长春 130022
  • 收稿日期:2021-11-29 出版日期:2023-09-01 发布日期:2023-10-09
  • 作者简介:陈绵书(1973-),男,副教授,博士.研究方向:图像处理,计算机视觉.E-mail:chenms@jlu.edu.cn
  • 基金资助:
    国家自然科学基金项目(61771220);吉林省科技厅重点研发项目(20210203149SF)

Loop detection based on uniform ORB

Mian-shu CHEN1(),Lu-lu YU1,Xiao-ni LI1,Hong-yu ZHENG2   

  1. 1.College of Communication Engineering,Jilin University,Changchun 130022,China
    2.The State Key Laboratory of Automotive Simulation and Control,Jilin University,Changchun 130022,China
  • Received:2021-11-29 Online:2023-09-01 Published:2023-10-09

摘要:

针对传统视觉即时定位与地图构建(SLAM)中ORB特征存在的聚集问题,基于网格划分和关键点分层确定思想,设计了均匀FAST角点提取方法,进而设计了基于均匀分布的ORB特征结合暴力匹配的回环检测方法。与基于词袋(BoW)模型的回环检测算法对比实验表明,本文算法能显著提高回环检测的准确率。基于机器人操作系统(ROS)平台,将均匀ORB特征回环检测模块与直接稀疏里程计(DSO)相结合,设计了一种松耦合式的半直接法SLAM系统。实验结果表明,本文系统具有较高的地图构建性能。

关键词: 信息处理技术, 即时定位与地图构建, 回环检测, 均匀ORB, 暴力匹配, 直接稀疏里程计

Abstract:

Aiming to solve the aggregation problem of traditional uniform oriented FAST and rotated BRIEF(ORB) features in visual simultaneous localization and mapping(SLAM), a uniform FAST corner extraction method is designed, which is based on grid division and laying to determinate key points. Furthermore, a corresponding loop detection method is designed based on uniform distribution of ORB features combined with brute force matching. Experiment results compared with BoW-based loop detection algorithms show that the proposed algorithm can significantly improve the accuracy of loop detection. Furthermore, a robot operating system(ROS) based loosely coupled semi-direct SLAM system is designed, which combine the uniform ORB feature loop detection module with direct sparse odometry(DSO). The experimental results show that the proposed system has high map construction performance.

Key words: information processing technology, simultaneous localization and mapping(SLAM), loop detection, uniform oriented FAST and rotated BRIEF(ORB), brute force matching, direct sparse odometry(DSO)

中图分类号: 

  • TP391.4

图1

FAST角点"

图2

OpenCV中FAST角点分布"

图3

均匀FAST角点分布"

图4

不同地点匹配示意图"

图5

同一地点匹配示意图"

图6

Np 集合示意图"

图7

视觉SLAM系统组成框图"

表1

实验环境"

处理器AMD Ryzen7 4800H
显卡NVIDIA RTX2060
内存Samsung DDR4 16 GB
固态硬盘Western Digital 512 GB
操作系统Ubuntu 18.04 LTS

图8

数据集示例图像"

图9

TUM_Mono 数据集示例图像"

图10

两种算法的AUC对比"

表2

两种算法在NewCollege数据集上的时间性能"

算法

特征编码

时间/ms

特征匹配

时间/ms

相似度计算

时间/ms

均匀ORB16.2115.170.01
基于BoW14.09-0.05

表3

两种算法在CityCentre数据集上的时间性能"

算法

特征编码

时间/ms

特征匹配

时间/ms

相似度计算

时间/ms

均匀ORB17.3816.300.01
基于BoW15.25-0.05

图11

成功运行次数对比"

图12

生成轨迹对比"

1 Durrant-Whyte H, Bailey T. Simultaneous localization and mapping: Part I[J]. IEEE Robotics & Automation Magazine, 2006, 13(2): 99-108.
2 Bailey T, Durrant-Whyte H. Simultaneous localization and mapping (SLAM): part Ⅱ[J]. IEEE Robotics & Automation Magazine, 2006, 13(3): 108-117.
3 Angeli A, Filliat D, Doncieux S, et al. Fast and incremental method for loop-closure detection using bags of visual words[J]. IEEE Transactions on Robotics, 2008, 24(5): 1027-1037.
4 Cummins M, Newman P. FAB-MAP: probabilistic localization and mapping in the space of appearance[J]. International Journal of Robotics Research, 2008, 27(6): 647-665.
5 Cummins M, Newman P. Appearance-only SLAM at large scale with FAB-MAP 2.0[J]. International Journal of Robotics Research, 2011, 30(9): 1100-1123.
6 梁志伟, 陈燕燕, 朱松豪, 等. 基于视觉词典的单目视觉闭环检测算法[J]. 模式识别与人工智能, 2013, 26(6): 561-570.
Liang Zhi-Wei, Chen Yan-Yan, Zhu Song-Hao, et al. Loop closure detection algorithm based on monocular vision using visual dictionary[J]. Pattern Recognition and Artificial Intelligence, 2013, 26(6): 561-570.
7 Zhang H, Liu Y L, Tan J D. Loop closing detection in RGB-D SLAM combining appearance and geometric constraints[J]. Sensors, 2015, 15(6): 14639-14660.
8 Oliva A, Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.
9 Yang L, Hong Z. Visual loop closure detection with a compact image descriptor[C]∥2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vilamoura, Portugal, 2012: No. 13195481.
10 Yang Z, Pan Y, Deng L, et al. PLSAV: Parallel loop searching and verifying for loop closure detection[J]. IET Intelligent Transport Systems, 2021, 15(5): 683-698.
11 Bai D D, Wang C Q, Zhang B, et al. CNN feature boosted SeqSLAM for real-time loop closure detection[J]. Chinese Journal of Electronics, 2018, 27(3): 488-499.
12 Wang Z, Peng Z, Guan Y, et al. Two-stage vSLAM loop closure detection based on sequence node matching and semi-semantic autoencoder[J]. Journal of Intelligent & Robotic Systems, 2021, 101(2): 1-21.
13 Mukherjee A, Chakraborty S, Saha S K. Detection of loop closure in SLAM: a DeconvNet based approach[J]. Applied Soft Computing Journal, 2019, 80: 650-656.
14 Liu Qiang, Duan Fu-hai. Loop closure detection using CNN words[J]. Intelligent Service Robotics, 2019, 12(4): 303-318.
15 Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]∥Proceedings of the IEEE International Conference on Computer Vision, Barcelona, Spain, 2012: 2564-2571.
16 Rosten E, Drummond T. Machine learning for high-speed corner detection[C]∥Computer Vision-ECCV 2006: Part I, Berlin, Germany, 2006: 430-443.
17 于录录. 视觉SLAM中回环检测算法的研究[D]. 长春: 吉林大学通信工程学院, 2021.
Yu Lu-lu. Research on loop detection in visual SLAM[D]. Changchun: College of Communication Engineering, Jilin University, 2021.
18 Quigley M, Conley K, Gerkey B, et al. Ros: an open-source robot operating system[J/OL]. [2021-03-22].
19 Engel J, Koltun V, Cremers D. Direct sparse odometry[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(3): 611-625.
20 Mur-Artal R, Montiel J M M, Tardos J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.
21 Arun K S, Huang T S, Blostein S D. Least-squares fitting of two 3-D point sets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(5): 698-700.
22 Horn B K P. Closed-form solution of absolute orientation using unit quaternions[J]. Journal of the Optical Society of America A, 1987, 4(4): 629-642.
23 Engel J, Usenko V, Cremers D. A photometrically calibrated benchmark for monocular visual odometry[J/OL]. [2021-03-25].
[1] 苏育挺,王骥,赵玮,井佩光. 基于动态图卷积的图像情感分布预测[J]. 吉林大学学报(工学版), 2023, 53(9): 2601-2610.
[2] 李寿涛,李嘉霖,孟庆瑜,郭洪艳. 基于点云直方图的回环检测算法和车辆定位方法[J]. 吉林大学学报(工学版), 2023, 53(8): 2395-2403.
[3] 国强,朱国会,李万臣. 基于混沌麻雀搜索算法的TDOA/FDOA定位[J]. 吉林大学学报(工学版), 2023, 53(2): 593-600.
[4] 李厚杰,王法胜,贺建军,周瑜,李威,窦宇轩. 基于伪样本正则化Faster R⁃CNN的交通标志检测[J]. 吉林大学学报(工学版), 2021, 51(4): 1251-1260.
[5] 蒋华伟,杨震,张鑫,董前林. 图像去雾算法研究进展[J]. 吉林大学学报(工学版), 2021, 51(4): 1169-1181.
[6] 王德兴,吴若有,袁红春,宫鹏,王越. 基于多尺度注意力融合和卷积神经网络的水下图像恢复[J]. 吉林大学学报(工学版), 2021, 51(4): 1396-1404.
[7] 金静,党建武,王阳萍,申东. 融合模糊统计纹理特征的多线索粒子滤波跟踪[J]. 吉林大学学报(工学版), 2021, 51(3): 1111-1120.
[8] 郭继昌,乔珊珊. 基于深度图的水下图像复原[J]. 吉林大学学报(工学版), 2021, 51(2): 677-684.
[9] 刘国华,周文斌. 基于卷积神经网络的脉搏波时频域特征混叠分类[J]. 吉林大学学报(工学版), 2020, 50(5): 1818-1825.
[10] 王柯俨,王迪,赵熹,陈静怡,李云松. 基于卷积神经网络的联合估计图像去雾算法[J]. 吉林大学学报(工学版), 2020, 50(5): 1771-1777.
[11] 史再峰,李金卓,曹清洁,李慧龙,胡起星. 基于生成对抗网络的低剂量能谱层析成像去噪算法[J]. 吉林大学学报(工学版), 2020, 50(5): 1755-1764.
[12] 谌华,郭伟,闫敬文,卓文浩,吴良斌. 基于深度学习的SAR图像道路识别新方法[J]. 吉林大学学报(工学版), 2020, 50(5): 1778-1787.
[13] 张薇,韩勇,金铭,乔晓林. 基于托普利兹矩阵集重构的相干信源波达方向估计[J]. 吉林大学学报(工学版), 2020, 50(2): 703-710.
[14] 程艳芬,姚丽娟,袁巧,陈先桥. 水下视频图像清晰化方法[J]. 吉林大学学报(工学版), 2020, 50(2): 668-677.
[15] 于晓辉,张志成,李新波,孙晓东. 基于状态空间模型的指数衰减正弦信号参数估计[J]. 吉林大学学报(工学版), 2019, 49(6): 2083-2088.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 李寿涛, 李元春. 在未知环境下基于递阶模糊行为的移动机器人控制算法[J]. 吉林大学学报(工学版), 2005, 35(04): 391 -397 .
[2] 刘庆民,王龙山,陈向伟,李国发. 滚珠螺母的机器视觉检测[J]. 吉林大学学报(工学版), 2006, 36(04): 534 -538 .
[3] 李红英;施伟光;甘树才 .

稀土六方Z型铁氧体Ba3-xLaxCo2Fe24O41的合成及电磁性能与吸波特性

[J]. 吉林大学学报(工学版), 2006, 36(06): 856 -0860 .
[4] 张全发,李明哲,孙刚,葛欣 . 板材多点成形时柔性压边与刚性压边方式的比较[J]. 吉林大学学报(工学版), 2007, 37(01): 25 -30 .
[5] 杨树凯,宋传学,安晓娟,蔡章林 . 用虚拟样机方法分析悬架衬套弹性对
整车转向特性的影响
[J]. 吉林大学学报(工学版), 2007, 37(05): 994 -0999 .
[6] 冯金巧;杨兆升;张林;董升 . 一种自适应指数平滑动态预测模型[J]. 吉林大学学报(工学版), 2007, 37(06): 1284 -1287 .
[7] 车翔玖,刘大有,王钲旋 .

两张NURBS曲面间G1光滑过渡曲面的构造

[J]. 吉林大学学报(工学版), 2007, 37(04): 838 -841 .
[8] 刘寒冰,焦玉玲,,梁春雨,秦卫军 . 无网格法中形函数对计算精度的影响[J]. 吉林大学学报(工学版), 2007, 37(03): 715 -0720 .
[9] 李月英,刘勇兵,陈华 . 凸轮材料的表面强化及其摩擦学特性
[J]. 吉林大学学报(工学版), 2007, 37(05): 1064 -1068 .
[10] 张和生,张毅,温慧敏,胡东成 . 利用GPS数据估计路段的平均行程时间[J]. 吉林大学学报(工学版), 2007, 37(03): 533 -0537 .