输电线巡检机器人自主抓线的控制
李贞辉1,2, 王洪光1, 王越超1, 姜勇1, 岳湘1,2
1.中国科学院 沈阳自动化研究所机器人学国家重点实验室,沈阳 110016
2.中国科学院大学,北京 100049

作者简介:李贞辉(1984-),男,博士研究生.研究方向:电力特种机器人.E-mail:lizhenhui@sia.cn

摘要

针对一种双臂巡检机器人越障过程中脱线手臂的自主抓线问题,提出了一种自主抓线控制方法。首先,基于输电导线纹理特征和积分投影方法估计导线的位姿(偏距、偏角)。然后,基于输电导线的位姿偏差设计自主抓线的仿人智能控制器,利用偏角、偏距和线宽的估计值并结合机器人的倾角信息对机器人进行自主抓线控制。实验表明,该方法能在不同光照和背景下有效估计输电导线的位姿,可靠控制脱线手臂自动落线。

关键词: 自动控制技术; 自主抓线; 巡检机器人; 直线检测; 输电线位姿估计
中图分类号:TP242 文献标志码:A 文章编号:1671-5497(2015)05-1519-08
Line-grasping control for a power transmission line inspection robot
LI Zhen-hui1,2, WANG Hong-guang1, WANG Yue-chao1, JIANG Yong1, YUE Xiang1,2
1.State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China
2.University of the Chinese Academy of Sciences, Beijing 100049, China
Abstract

To solve the problem of line-grasping control when an inspection robot crosses obstacles automatically, this paper presents an automatic line-grasping control method. First, a pose estimation method for transmission line is designed based on its textural features and integral projection algorithm. Then, based on the pose error of the transmission line, a human simulating intelligent controller is designed. Using the offset distance, declination, width of the line, and combing with the obliquity of the robot, the automatic line-grasping control is realized. Experiment results with different backgrounds and illuminations show that the poses of the transmission lines can be estimated availably by the proposed method, and the automatic line-grasping task can be achieved reliably and precisely.

Keyword: automatic control technology; automatic line-grasping control; inspection robot; line detection; pose estimation for transmission line
0 引 言

传统的输电线路检测与维护方式需要线路工人长时间工作在野外或高压环境下, 劳动强度大且危险性高。近年来, 许多学者开展了输电线路巡检机器人研究[1, 2, 3, 4, 5]。高压/超高压输电线路巡检机器人的研究始于20世纪80年代, 具有代表性的成果包括日本东京电力公司、加拿大魁北克电力公司、中国沈阳自动化研究所和武汉大学等单位研制的输电线巡检机器人。经过20多年的发展, 轮臂复合结构成为巡检机器人的一种典型结构。这种结构的巡检机器人通过轮臂复合机构以尺蠖式、单臂旋转式或双臂交错式等方式跨越不同的线路障碍。由于输电线路环境复杂, 巡检机器人多采用地面人员直接遥控的方式跨越障碍物, 这种操作方式不但对地面人员的技能要求较高, 而且劳动强度大, 限制了巡检机器人的工程应用。提高复杂环境下机器人的自动越障能力, 是提高巡检机器人工作效率的关键之一。

轮臂复合结构的巡检机器人遇到防振锤、悬垂线夹和耐张线夹等线路障碍时, 一般通过轮臂交替脱离导线-越过障碍物-重新抓线等动作跨越障碍物, 因此准确、可靠地自动抓线是实现机器人自主越障的关键环节。文献[6]研究了基于接近或测距等非接触传感器获取输电线与轮臂的相对位姿关系, 从而完成抓线控制的方法; 文献[7]研究了基于立体视觉方法定位输电线三维位姿并实现自动抓线控制的方法; 文献[8]采用单目视觉信息提取轮臂与输电线在图像空间的相对偏距和偏角并实现了自动抓线控制。这些方法存在精度低或易受环境影响的缺点。

本文针对现有的导线位姿估计方法不适用于导线和背景灰度差异较小的情况, 提出了一种基于导线纹理特征和积分投影方法的导线位姿估计方法。针对机器人系统的时变、非线性和耦合的特点, 设计了仿人智能控制器, 通过输电导线与轮臂的相对偏距和偏角, 控制机器人轮臂与导线对正, 利用线宽和机器人箱体倾角信息控制机器人抓线。

1 巡检机器人系统
1.1 巡检机器人工作环境

架空高压输电线路主要由杆塔、架空地线、输电导线及其他设备组成。巡检机器人沿架空地线或输电导线运动, 并携带检测设备对输电导线进行检测, 其工作环境简图如图1所示。巡检机器人沿输电导线以滚动的方式运动, 遇到安装在导线上的防振锤、线夹和引流线等障碍物时, 机器人采取尺蠖或双臂交错的方式跨越障碍物。

图1 巡检机器人工作环境简图Fig.1 Working environment of Robot

图2 机器人结构Fig.2 Structure of robot

1.2 巡检机器人系统组成及功能

巡检机器人系统由移动机器人和地面基站组成, 如图2所示。巡检机器人由行走越障机构、质心调整机构和控制箱体组成。机器人行走越障机构由两个轮-爪-臂(复合手臂)组成, 每个手臂分别有行走关节、腕关节、伸缩关节和旋转关节, 手臂末端安装夹爪, 可以抓握导线。机器人质心调节机构由双臂导轨和控制箱导轨组成, 分别由3个移动关节驱动, 可以实现两臂和控制箱沿导轨水平运动。机器人控制系统包括移动机器人控制系统、地面基站控制系统以及数据传输系统。地面基站计算机接受移动机器人传输的内外传感器信息, 完成机器人的全局规划和局部规划。移动机器人控制计算机接受到命令后解析命令, 控制机器人完成相应动作功能。

1.3 机器人巡检过程

巡检机器人沿输电导线行走, 并跨越悬垂线夹、防振锤、耐张线夹和引流线等线路障碍物。机器人利用自身携带的检测设备(可见光摄像机及红外热像仪)对输电导线、杆塔以及线路通道进行检测。巡检机器人在导线上的运动大致可以分为:线上行走、越障和引流线行走3个阶段。在杆塔中间段, 线上障碍较少, 机器人以滚动的方式沿线路移动, 并对沿途线路进行检测; 在接近杆塔段, 遇到障碍时, 机器人通过轮臂交替脱离导线-越过障碍物-重新抓线等动作跨越障碍物; 在引流线上, 机器人采取双臂交错的方式攀越过引流线。图3为机器人跨越悬垂线夹的过程。

图3 巡检机器人越过悬垂线夹的流程Fig.3 Obstacle negotiating process of robot

2 抓线控制原理

机器人越障或双臂交错行走时, 需要一个手臂悬挂在输电导线上, 另一个手臂脱线, 通过关节运动使脱线手臂跨越障碍物, 并重新落线(见图3(d)(f))。运动过程中, 通过利用机器人倾角的反馈值调节双臂导轨和控制箱移动关节的运动来控制机器人质心位置, 从而保证机器人在运行过程中始终在水平状态。脱线手臂重新落线时需要获知输电导线的精确位姿以确保脱线手臂的行走轮准确落到导线上。机器人的每个手臂上安装了两个针孔摄像机用来检测输电导线的位姿, 如图2所示, 分别为安装在手臂上方的俯视摄像机和安装在手臂下方的仰视摄像机。以前臂脱线为例, 巡检机器人处于后臂挂线状态。基于后臂行走轮支点建立机器人坐标系。前臂抓线摄像机安装在行走轮前方, 在摄像机光心处建立摄像机坐标系 OC, 如图4所示, 巡检机器人前臂的摄像机坐标系相对于后臂支点的基础坐标系的变换关系为:

COT=00-1pxcθ2-θ12-sθ2-θ120py-sθ2-θ12-cθ2-θ120pz00011

式中:

px=d13-d3;

py=100cos(θ212)+353sinθ2- 353sin(θ2-θ12)2+

780-d11-d1cosθ2;

pz= d11+d1-780sinθ2- 353cosθ2-θ122-

3532-100sin θ2-θ12+353cosθ2;

θ12θ2分别为前、后臂的旋转关节变量; d11d1分别为前、后臂的水平移动关节变量; d13d3分别为前、后臂的垂直伸缩关节变量; c和s分别为cos和sin的简化符号。

图4 机器人坐标系Fig.4 Coordinates of the robot

机器人在前臂行走轮抓线过程中, 通过前臂上的针孔摄像机检测输电导线的位姿, 根据当前位姿与期望位姿的偏差控制机器人抓线。机器人前臂行走轮抓线模型如图5所示, 其中{OL}为抓线点的目标坐标系, {OC}为相机坐标系, {OP}为图像物理坐标系。目标坐标系到相机坐标系的转换关系为:

LCT=00-0kkyγ001kf00012

式中:为图像坐标系下导线偏角; γ为图像坐标系下导线偏距; k≈ (d13-d3-(780-d11-d1)sinθ)/f, 为图像的放大倍数, θ为导线与水平面的夹角, f为摄像机焦距; ky为图像中Y轴上像素间距所代表的实际物理距离。

调整机器人关节变量θ2θ12d13, 当相机坐标系与目标坐标系重合时, 机器人前臂行走轮抓线完成。在机器人抓线过程中, 目标坐标系在基础坐标系中的位姿保持不变。设抓线完成时, 关节变量为( θ~i, d~j), 则输电线上的一点LP在基础坐标系上可表示为:

Op=COTθi~, dj~LCT0, 0LP=COTθi, djLCTϑ, γLP3

由式(3)可得机器人关节变量与输电导线图像特征的关系为:

γω-分别为图像中导线的偏角、偏距和线宽; W为抓线完成时图像中导线的线宽。

根据式(4), 机器人通过调整θ2θ12趋近 θ2~θ12~, 使输电线在图像中“ 对正” , 调整d13-d3趋近 d13~- d3~, 使前臂行走轮落线。

图5 机器人抓线模型Fig.5 Robot line-grasping model

3 基于视觉的自主抓线控制
3.1 基于视觉的输电导线位姿估计

基于视觉的输电导线位姿估计首先要在一幅图像中将导线从背景中分割出来, 即导线提取, 其次是计算所提取导线的位姿。

在基于视觉的巡检机器人伺服抓线研究中[8, 9, 10, 11], 以往的文献多采用手臂下方的仰视摄像机, 该视野所拍摄的图像具有背景简单(实验室多为天花板, 实际现场多为天空)、线路目标与背景灰度差异大、导线纹理信息弱等优点, 利于利用灰度对导线和背景进行分割, 如图6(a)所示。但是该视野易受阳光直射的影响, 且在巡检机器人跨越防振锤时, 输电导线易被防振锤遮挡, 使得仰视摄像机无法观测到导线, 如图6(b)所示。在一般情况下, 如交错行走、跨越悬垂线夹等, 采取俯视摄像机进行伺服抓线图像分析简单, 能够将导线位姿和机器人位置调节进行解耦控制。针对文中所介绍的巡检机器人结构, 手臂下方摄像机在跨越防振锤时无法拍摄到导线。手臂上方的俯视摄像机的视野中, 图像背景复杂、目标和背景灰度差异小, 但导线纹理清晰(见图7(a)), 不受障碍物遮挡和阳光直射影响。

图6 仰视摄像机图像Fig.6 Images of the upward camera

图7 导线提取效果Fig.7 Effects of line detection

因此, 文中采用仰视摄像机和俯视摄像机结合的方式进行伺服抓线, 当巡检机器人仰视摄像机不受阳光和遮挡影响时, 自主抓线采取仰视摄像机图像, 其他复杂情况采取俯视摄像机检测导线位姿。图7(b)为Sobel算子提取的边缘图像, 导线区域边缘信息丰富且具有一定的规律, 设计以下规则判别边缘点是否属于导线纹理:输电导线纹理为一定长度的近似直线段, 一行内连续数个相邻边界间距大于1且小于σ (σ 为输电线相邻纹理的最大间距)。

根据规则设计滤波器对边缘图像进行滤波, 滤除不符合导线纹理的边缘点和水平边缘点, 对滤波后的图像进行形态学运算, 如图7(c)所示, 提取骨架后得到导线的轮廓边缘图像, 如图7(d)所示。

由于导线提取算法的影响, 基于纹理提取的导线轮廓往往不是理想的直线。本文给出一种采用导线轮廓图像的积分投影向量计算输电线的偏角、偏距和导线线宽的方法。

定义源图像的边缘图像为I, 其边缘分布为f(m, n)∈ {0, 1}, 待检测直线为导线的两个边缘l+, l-。在图像I上建立坐标系O:X-O-YOY为图像中轴线, 即导线与轮臂对正时导线的参考位置。设为导线中轴线与OY的夹角, 即导线偏角。γ为导线中轴线在OX方向上距原点O的距离, 即导线的偏距。

将图像I旋转角度α , 定义为图像I', 如图8(a)所示。在图像I'上建立坐标系O':X'-O'-Y', 旋转后l+, l-定义为l'+, l'-。图像I'中一点 m', n'OX的投影为Xm'n'=m'cosα -n'sinα , 如果k-0.5≤ Xm'n'< k+0.5, 则该点对积分投影向量pα (k)的贡献为 pmnαk=f m, n, pα k可表示为:

pαk=m, npmnαk5

图8 积分投影原理Fig.8 Integral projection principle

其中, k=1, 2, …, 对所有可能的α pα (k)的极值R(α i, ki), 图8(b)所示为图7中导线的pα (k)分布情况, 选择R(α i, ki)> Rmin的点作为可能的导线边界线, 并采用如下先验规则识别导线的两个边界线:两个点(α i, ki)、(α j, kj), 若‖ α ij< 5, 50< ki-kj< 300(即两条直线夹角小于5° 且宽度在50~300像素), 则导线存在, 且两个边界经图像旋转角度分别为α iα j后, 对OX的投影分别为kikj。由α iα jkikj求出导线在图像中的偏角、偏距γ和线宽ω-

3.2 自主抓线的仿人智能控制器设计

由式(4)可知, 巡检机器人抓线系统是一个时变、非线性、强耦合的系统, 同时由于机构回差和传感器精度的影响, 很难建立其精确的系统模型。仿人智能控制的基本思想是在控制过程中模拟人的控制行为, 最大限度地识别和利用系统动态过程所提供的特征信息进行启发和直觉推理, 从而对时变、非线性、耦合和不能精确建模的对象具有较好的控制效果。设计仿人智能控制器首先要建立描述系统动态特征的特征模型φ 、决策与控制模式ψ 和产生式规则Ω [12]

巡检机器人抓线控制过程可以划分为大偏差下的粗对准、小偏差下的趋近对准、过零对准和抓线4个阶段。选择如下特征基元来描述系统的特征状态:eeγeω-分别表示偏角、偏距、线宽与参考值的偏差; e∂n· e(n-1), eγn· eγ(n-1), eω-n· eω-(n-1)分别表示偏差在相邻时间的相位分布。< φ , ψ , Ω > 表示巡检机器人抓线控制的推理决策过程。

选择描述系统动态特性的特征模型φ 为:

式中:E1, E2, E3, Eγ1, Eγ2, Eγ3, Eω-分别为偏角、偏距和线宽偏差的分段参考值; φ 1φ 2为大偏差阶段; φ 3φ 4为小偏差阶段; φ 5, φ 6, φ 7φ 8为过零阶段; φ 9为抓线阶段; φ 10为抓线完成。

决策与控制模式是控制输出与信息的某种定量与定性的映射关系的集合, 选择巡检机器人的决策与控制模式ψ 为:

ψ=ψ1, ψ2, ψ3, ψ4, ψ5, ψ6, ψ7, ψ88ψ1:u=ϑ+u2u20'ψ2:u=u1fu2f0'ψ3:u=eϑnu1(n-1)/eϑn+eϑ(n-1)00'ψ4:u=ϑ00'ψ5:u=0eγnu2(n-1)/eγn+eγ(n-1)0'ψ6:u=0eγn/eγn0'ψ7:u=00-θp-θ'ψ8:u=000'

式中:

u2=arcsin -kγcosθ2-θ12+pzθi+

3532cos ϑ-θ2+θ12-100sin ϑ-θ2+θ12+

3532/3532+780-d11-d12-

arcsin 353/3532+780-d11-d122;

u1fu2f是以γ为输入的模糊控制器输出, 设计方法参见文献[8]; θp为机器人抓线完成时的控制箱倾斜角度值。

启发式与直觉推理规则(即产生式规则)是对人决策过程的一种模仿, 依据特征辨识的结果确定决策与控制模式。选择巡检机器人的产生式规则Ω 为:

Ω=ω1, ω2, ω3, ω4, ω5, ω6, ω7, ω89ω1:IFφ1, φ2THENψ1ω2:IFφ3, φ4THENψ2ω3:IFφ5THENψ3ω4:IFφ6THENψ4ω5:IFφ7THENψ5ω6:IFφ8THENψ6ω7:IFφ9THENψ7ω8:IFφ10THENψ8

4 实 验
4.1 输电导线位姿估计实验

在模拟线路上对所述导线位姿估计算法进行实验, 验证算法对环境的适应性(光照和背景)。实验系统包括巡检机器人、地面基站和输电线导线。机器人手臂上方俯视摄像机和地面基站的图像采集卡用于采集图像, 地面基站计算机完成导线位姿计算, 并将检测的导线中心线在原始图像中标记。实验主要考虑了不同背景和光照条件下算法的有效性, 如图9所示。

图9 不同背景和光照下的位姿检测实验Fig.9 Pose estimation experiments with different backgrounds and illuminations

固定机器人和导线的相对位置关系, 对以上各种情况进行多次导线位姿估计实验, 偏角和偏距估计值与其组内平均值的偏差分布如图10所示, 偏角的检测误差‖ Δ ∂< 1° , 偏距的检测误差‖ Δ γ< 10像素, 说明导线位姿检测方法在不同背景和光照下具有一定的稳定性, 满足自主抓线控制的需求。

图10 偏角和偏距检测值误差分布Fig.10 Error distribution of offset distances and declinations

4.2 自主抓线控制实验

图11所示为在实验室模拟线路上进行巡检机器人跨越防振锤时前臂抓线控制实验。由于摄像机视野限制, 设输电线在图像中偏角范围为-60° ~60° , 偏距范围为-300~300像素, 超出范围时将不进行自主抓线控制而切换至人工控制模式。实验设计时主要考虑输电导线初始位姿偏移量对抓线控制算法的影响, 设置初始偏移量分别为:①‖ e> E1, ‖ eγ> Eγ1; e< E1, ‖ eγ< Eγ1; e> E1, ‖ eγ< Eγ1; e< E1, ‖ eγ> Eγ1。当‖ e< E3, ‖ eγ< Eγ3时, 机器人完成导线对正, 当‖ eθ> 2° , ‖ eω-< Eω-时, 机器人完成落线。多次实验表明, 在不同的初始位姿偏移量下, 机器人均能可靠地实现自主抓线, 机器人完成导线对正时, ‖ e< 1° , ‖ eγ< 50像素。以图11所示的实验为例, 自主抓线控制的实验曲线如图12所示, 图中曲线分别表示偏角、偏距、线宽和机器人倾角等变量随控制节拍的变化情况, 控制节拍指机器人完成一次检测-运动的周期。由图可知:系统可以在5个控制节拍内将导线和行走轮对正, 在9个控制节拍内完成抓线控制。

图11 机器人跨越防振锤的自主抓线实验Fig.11 Automatic line-grasping experiments when the robot crosses dampers

图12 偏角、偏距、线宽和机器人倾角随控制节拍的变化情况Fig.12 Experimental results of the line-grasping control

5 结束语

针对一种轮臂复合式巡检机器人自主越障问题, 本文提出了一种自主抓线方法, 解决了以往算法在导线和背景灰度差异小时无法可靠抓线的问题。导线位姿估计考虑了导线的纹理约束, 保证了算法在复杂背景和不同光照条件下的有效性, 实验中偏角估计值的重复精度‖ Δ ∂< 1° , 偏距估计值的重复精度‖ Δ γ< 10像素。仿人智能控制算法对机器人自主抓线过程的时变、非线性、耦合和由于机构回差和传感器精度引起的误差具有较好的控制效果。实验验证了该自主抓线控制方法的正确性。

The authors have declared that no competing interests exist.

参考文献
[1] Katrasnik J, Pernus F, Likar B. A survey of mobile robots for distribution power line inspection[J]. IEEE Transactions on Power Delivery, 2010, 25(1): 485-493. [本文引用:1]
[2] Pouliot N, Richard P L, Montambault S. LineScout power line robot: characteization of a UTM-30LX LIDAR system for obatacle detection[C]∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura, Algarve, Portugal: IEEE, 2012: 4327-4334. [本文引用:1]
[3] Higuchi M, Maeda Y, Tsutani S, et al. Development of a mobile inspection robot for power transmission lines[J]. Journal of the Robotics Society of Japan, 1991, 9(4) : 457-463. [本文引用:1]
[4] Mario F M C, Alexand re Q B, Guilherme A S P, et al. A mobile manipulator for installation and removal of aircraft warning spheres on aerial power transmission lines[C]∥Proceedings of the IEEE International Conference on Robotics and Automation . Piscataway, USA: IEEE, 2002: 3559-3564. [本文引用:1]
[5] Wang H, Zhang F, Jiang Y, et al. Development of an inspection robot for 500 kV EHV power transmission lines[C]∥Proceeding of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, 2010: 5107-5112. [本文引用:1]
[6] Han S S, Lee J M. Path-selection control of a power line inspection robot using sensor fusion[C]∥IEEE International Conference on Multi-sensor Fusion and Integration for Intelligent Systems. Piscataway, NJ, USA: IEEE, 2008: 8-13. [本文引用:1]
[7] 王鲁单, 王洪光, 房立金, . 基于视觉伺服的输电线巡检机器人抓线控制[J]. 机器人, 2007, 29(5): 451-455.
Wang Lu-dan, Wang Hong-guang, Fang Li-jin, et al. Visual-servo-based line-grasping control for power transmission line inspection robot[J]. Robot, 2007, 29(5): 451-455. [本文引用:1]
[8] 郭伟斌, 王洪光, 姜勇, . 一种输电线巡检机器人的自主抓线视觉伺服控制[J]. 机器人, 2012, 34(5): 620-627.
Guo Wei-bin, Wang Hong-guang, Jiang Yong, et al. Visual servo control for automatic line-grasping of power transmission line inspection robot[J]. Robot, 2012, 34(5): 620-627. [本文引用:1]
[9] 张运楚, 梁自泽, 谭民, . 架空输电线路巡线机器人越障视觉伺服控制[J]. 机器人, 2007, 29(2): 111-116.
Zhang Yun-chu, Liang Zi-ze, Tan Min, et al. Visual servo control of obstacle negotiation for overhead power line inspection robot[J]. Robot, 2007, 29(2): 111-116. [本文引用:1]
[10] 王聪, 孙炜. 高压输电线路除冰机器人抓线运动控制[J]. 机械工程学报, 2011, 47(9): 8-15.
Wang Cong, Sun Wei. Line-grasping control for the deicing robot on high voltage transmission line[J]. Journal of Mechanical Engineering, 2011, 47(9): 8-15. [本文引用:1]
[11] 张文增, 陈强, 都东, . 直线检测的灰度投影积分方法[J]. 清华大学学报: 自然科学版, 2005, 45(11): 1446-1449.
Zhang Wen-zeng, Chen Qiang, Du Dong, et al. Gray projecting integral method for line detection[J]. J Tsinghua Univ(Sci&Tech), 2005, 45(11): 1446-1449. [本文引用:1]
[12] 李祖枢, 徐鸣, 周其鉴. 一种新型的仿人智能控制器(SHIC)[J]. 自动化学报, 1990, 6(6): 503-509.
Li Zu-shu, Xu Ming, Zhou Qi-jian. A new simulating human intelligent control[J]. Acta Automatica Sinica, 1990, 6(6): 503-509. [本文引用:1]