基于梯度天空背景的非均匀性校正和点目标探测
刘让1,2,3, 王德江1,2, 张刘4, 周达标1,2,3, 贾平1,2, 丁鹏1,2,3
1.中国科学院 长春光学精密机械与物理研究所,长春 130033
2.中国科学院 航空光学成像与测量重点实验室,长春 130033
3.中国科学院大学,北京 100049
4.吉林大学 仪器科学与电气工程学院,长春130061
通信作者:张刘(1978-),男,教授.研究方向:卫星姿态测量与控制技术,空间对接测量技术及空间遥感成像系统设计与仿真技术.E-mail:zhangliu@jlu.edu.cn

作者简介:刘让(1990-),男,博士研究生.研究方向:红外探测技术,图像处理.E-mail:liurang14@mails.ucas.ac.cn

摘要

针对黑体两点校正方法不适用于校正梯度天空背景的问题,提出一种新的基于梯度天空背景的两点校正方法。首先,采用邻域像素替代法剔除位置固定不变的盲元;然后,利用红外焦平面探测器拍得的两幅不同俯仰角度的纯净天空图像作为两个温度点,进行两点校正获得增益系数和偏置系数;最后,通过修正这两个系数剔除少量随机噪点。实验结果验证了该方法的有效性。本文在校正基础上还提出了一种小窗口双边滤波和梯度模板联合检测算法,用于探测暗弱点目标。首先采用小窗口的双边滤波去除高斯噪点,然后与梯度模板做卷积,自适应阈值分割检测出暗弱点目标。实验结果表明,提出的模板算法对复杂背景的抑制作用较强,可有效提高目标的信噪比,而且算法复杂度不高,易于实时实现。

关键词: 信息处理技术; 梯度天空背景; 非均匀性校正; 梯度模板算法; 暗弱点目标
中图分类号:TP391.4 文献标志码:A 文章编号:1671-5497(2017)05-1625-09
Non-uniformity correction and point target detection based on gradient sky background
LIU Rang1,2,3, WANG De-jiang1,2, ZHANG Liu4, ZHOU Da-biao1,2,3, JIA Ping1,2, DING Peng1,2,3
1.Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033,China
2.Key Laboratory of Airborne Optical Imaging and Measurement, Chinese Academy of Sciences, Changchun 130033,China
3.University of Chinese Academy of Sciences, Beijing 100049,China
4.College of Instrumentation & Electrical Engineering, Jilin University, Changchun 130061, China
Abstract

Tow-point Non-uniformity Correction (NUC) based on blackbody is not suitable to correct actual sky background. To overcome this problem, a new two-point correction method based on gradient sky background was proposed. First, the fixed positions of bind pixels are replaced by the pixels in neighborhood. Then, the two-point images are captured at two different pitch angles in the pure sky by infrared focal plane array detector; and gain and offset coefficients are obtained from two-point correction. Finally, the two correction coefficients are modified to remove a few remaining bas points. Results show that this method has good performance. In the second place, a new bilateral filtering and gradient template algorithm is proposed to detect dim point target after correction. First, median filter is used to remove remaining single noise. Then, convolution with the gradient template is made. Dim point target can be detected after adjusting image grayscale to the certain threshold interval. Results show that the proposed gradient template algorithm has advantages to suppress complex background. It improves Signal-to-noise Ratio (SNR), and has the preference of low complexity and easy implementation in real-time system.

Key words: information processing technology; gradient sky background; non-uniformity correction; gradient template algorithm; dim point target
0 引 言

目前普遍使用的红外焦平面阵列(IRFPA)探测器是由对红外辐射敏感的半导体材料制成的, 而半导体材料在掺杂过程中极易出现材料不均、掩膜误差、工艺缺陷等现象, 各像元会不可避免地产生响应非均匀性, 在图像上通常以加性或乘性噪声的形式出现亮暗不均的固定图案或随机噪声[1], 严重影响探测系统的性能。远距离目标在红外探测器上以点目标的形式呈现, 而且没有形状信息和纹理特征, 这种复杂条件对成像质量的要求非常高[2]。红外焦平面阵列中存在的盲元等噪点很可能会误判为点目标, 严重阻碍后期进行目标探测。为满足高质量的成像要求, 对探测器进行非均匀性校正和盲元检测替换是红外图像预处理必不可少的关键一步。

国内外的非均匀校正算法主要有基于黑体定标的校正方法[3, 4, 5]和基于场景的校正方法[6, 7, 8]。基于场景的校正法通过计算图像序列获得探测器的校正系数, 常用的场景校正法有:时域高通滤波法[9, 10]、恒定统计法[11]、神经网络法[12]、卡尔曼滤波法[13], 该类算法复杂度较高, 实时处理有难度, 同时会有不同程度鬼影现象, 影响成像质量[14, 15]。定标校正法从非均匀性产生的原理出发, 在不同的已知温度下拍摄黑体, 然后对焦平面阵列中每一个探测元的响应进行校正, 使所有像元在同一温度下输出一致。实际工程对实时性、鲁棒性有较高的要求, 定标法应用非常广泛, 尤其是一点、两点校正算法。但是在实际捕捉目标过程中发现, 黑体辐射定标数据对实际拍摄的天空背景进行非均匀校正效果不佳, 而且考虑到黑体用于机载红外探测系统定标过程繁琐, 成本也昂贵。因此, 利用实验室黑体校正数据很难实时实地对红外暗弱点目标图像进行非均匀校正。

针对上述问题, 本文提出了基于梯度天空背景的红外探测器校正方法, 通过对320× 256红外焦平面探测器采集到的带有严重非均匀性的红外序列图像进行处理, 并对增益因子和偏置系数修正进行盲元替换, 验证了本文提出的方法具有很好的校正效果。最后, 提出了一种小窗口双边滤波和梯度模板联合目标检测算法, 可有效提取出校正后图像中的暗弱点目标。

1 梯度天空背景的非均匀性校正
1.1 两点法校正

红外焦平面阵列的非均匀性问题是最突出和急需解决的, 两点校正法仍是工程上最为成熟和最容易实现的算法。根据文献[16], 焦平面探测器像元的响应输出表达式如下:

XijΦ=μijΦ+νij1

式中:μ ijν ij分别为像元的增益系数和偏置系数; Φ 为输入的辐射通量。

对于均匀黑体的响应一致性是指像元的增益系数μ ij和偏置系数ν ij是不变的, 即只要输入的辐射通量Φ 一致, 各像元的输出Xij(Φ )不变。两点校正法就是在原始像元输出值基础上校正增益系数和偏置系数, 使所有像元在高、低温两点间的输出是一条直线。具体两点校正表达式如下:

Yij=KijXijΦ+Bij2

式中:KijBij分别为增益校正系数和偏置校正系数; Yij为校正后输出值。

两点法利用焦平面各探测元在低温TL黑体的输出值Yij(Φ L)和高温TH黑体的输出值Yij(Φ H)两点, 由式(3)(4)获得增益系数和偏置系数, 进行两点校正。

YijΦL=KijXijΦL+Bij3YijΦH=KijXijΦH+Bij4

1.2 黑体两点校正法不适用的原因

实验室采用焦距为38 mm, 像元尺寸为30 μ m× 30 μ m的斯特林致冷碲镉汞(HgCdTe)ST320型长波红外焦平面探测器, 实验装置图如图1所示。

图1 实验装置Fig.1 Experimental equipment

在捕捉目标之前需要对探测器进行非均匀性校正, 采用上述仪器捕捉纯净无云天空场景, 不同时段拍摄的未校正图像序列中的三帧见图2(a), 所有图片像素均归一化处理, 采用实验室黑体辐射定标数据对其进行两点法校正, 结果如图2(b)所示。

图2明显看出:利用实验室黑体定标数据对天空背景进行两点法校正效果不佳, 固定图案噪声依然存在, 经计算校正后图像的标准偏差都在200以上, 同时还存在一些盲元等噪点, 严重干扰进一步对弱小目标的有效探测。

分析黑体定标数据效果不理想的原因如下:一方面, 红外焦平面的响应非均匀性产生的固定图案噪声在短时间内可以认为是常量, 但随着时间和地点发生较大变化, 非均匀性噪声会发生漂移, 当待校正温度点不在选取的黑体两点温度点的范围内或者待校正点分布在校正系数的非线性区时, 采用黑体两点校正系数会导致较大的残余误差, 这是基于黑体定标方法的主要不足之处。另一方面, 天空背景俯仰高度不同, 产生的红外辐射强度也有差异。对于肉眼看到的是纯净无色变天空, 随着探测器俯仰角度越大, 即场景里从低空到高空, 图像上呈现的灰度值呈缓慢下降趋势, 但是图像对应的增益系数则是缓慢上升, 这种灰度分布与实验室均匀黑体辐射明显不同, 由先验知识可知黑体标定得到的增益系数分布在1左右。下面分步进行探测器校正和暗弱点目标探测。

图2 黑体两点法校正结果Fig.2 Result of NUC based on blackbod

1.3 本文提出的非均匀性校正算法

Step1 剔除固定位置的显著过热像元

选取3× 3邻域窗口遍历整幅图像, 若中心像元响应灰度值大于8个邻域像元灰度值并且大于8邻域平均灰度值的10%(或者小于8个邻域像元灰度值并且小于8邻域平均灰度值的10%), 并且相邻两帧响应过热或过低像元位置不变, 我们需要对其进行剔除, 采取邻域像素替代的方法进行盲元补偿, 补偿后的对应图像如图3

Step2 梯度天空背景的两点法校正

校正目标图像时, 在天空中选取较高俯仰角度的纯净无云的场景作为T1温度点图像, 拍摄100帧累加平均去除时域噪声; 然后将探测器向下转动变换仰角找到肉眼看纯净无云的天空作为T2温度点图像, 同样拍摄100帧累加平均去除时域噪声。利用以上两个温度点图像进行两点法非均匀性校正, 具体校正过程参见1.1节。图4列出了不同时刻、不同位置天空的校正结果, 包括第1列的3幅过热元剔除后的原始图像、第2列的T1和第3列的T2两个温度点图像以及第4列的初步校正结果。为了方便后期处理, 所有图像顺时针旋转90° 。

图3 过热像元剔除后图像Fig.3 Image of removing overheated pixels

图4 天空图像校正结果Fig.4 Result of sky image correction

Step3 修正系数法剔除剩余坏点

很明显校正后的图像固定图案噪声消失, 大部分孤立噪声和坏点也已经剔除, 但是仍然存在少量坏点。下面通过修正增益系数和偏置系数剔除剩余坏点。以增益系数K的修正为例进行分析, 偏置系数B修正方法与此同理, 不再赘述。上述3幅初步校正图增益系数K随图像列数变化曲线如图5(a)所示, 为了方便本文选取图像最后一行显示曲线变化关系, 但处理过程针对整幅图像。随着列数的增加, K值逐渐增大, 但是曲线中存在K值跳跃较大的点, 部分突变点在图中用圆圈标出, 这些较强烈的跳跃点是探测器非均匀性残余的表现, 剩余坏点即由此造成, 需要予以剔除。具体修正算法如下:

(1)计算增益系数K曲线上4邻域均值。

Km=medfilt1K, 5(5)

(2)计算每点实际K值与Km之差的绝对值。

Kdif=absKm-K(6)

(3)求Kdif的平均值mean(Kdif)。

(4)设定合适的阈值thresh, 经反复实验验证设为7比较合适, 当Kdif/mean(Kdif)> thresh时, 增益K剔除, 否则保持不变。

(5)用Km值替代剔除的K值。同理, 用Bm替代剔除的B

经过上述步骤得到图5(b)修正后的增益系数曲线。通过观察曲线, K值跳跃较大的点均被剔除, 随着列数的增加, K值变化较为平缓。最后用修正后的增益系数和偏置系数对上述3幅图像进行重新校正, 校正结果见图5(c), 校正后图像残余的坏点均已消失。

图5 修正增益系数结果Fig.5 Result of modifying gain

2 基于梯度模板算法的暗弱点目标探测

要开展对红外弱小目标的有效探测, 首先最重要的就是对图像进行背景杂波抑制。传统的小波的方法运算量较大, 难以实时实现。采用高斯滤波或者中值滤波进行处理, 平滑噪声的同时会丢失目标细节信息。双边滤波结合空域信息和灰度信息并对其进行非线性组合, 去除高斯噪声的同时能够很好地保留目标边缘和细节特征, 具有简单、非迭代、局部的优点。本文首先采用小窗口的双边滤波对目标图像进行预处理。

I为原始含噪图像, I(x, y)为图像中点(x, y)处像素值, I'表示双边滤波处理后图像, 双边滤波定义如下:

I'(x, y)=1Mi, jNx, yexp-[(i-x)2+(j-y)2]2σd2·exp-|I(i, j)2-I(x, y)2|2σr2·I(i, j)(7)

式中:

M=i, jNx, yexp-[(i-x)2+(j-y)2]2σd2·exp-|I(i, j)2-I(x, y)2|2σr2(8)

Nx, y为点(x, y)的邻域。双边滤波器由空间邻近因子σ d和像素相似因子σ r这两个参数共同调节滤波性能。σ d变大时, 窗口中能作用于e指数的像素值变多, 会导致图像变得模糊。σ rσ d的变化进行补偿, 灰度差值大于σ r的像素间不进行运算。经反复验证σ d取1, σ r取0.1, 小窗口的双边滤波保边去噪的效果较好。

考虑到红外弱小目标的类斑点状, 本文设计了一个带有保护带的梯度模板与双边滤波结合, 可有效探测出弱小目标。提出的5× 5维度梯度检测模板F如下:

F=-1-2-4-2-1-2242-2-44104-4-2242-2-1-2-4-2-1(9)

相应的改进表达式为:

I'(x, y)=1Mi, jNx, yexp-[(i-x)2+(j-y)2]2σd2·exp-|I(i, j)2-I(x, y)2|2σr2·F·I(i, j)(10)

其中:

M=i, jNx, yexp-[(i-x)2+(j-y)2]2σd2·exp-|I(i, j)2-I(x, y)2|2σr2·F(11)

提出的梯度核矩阵每一项代表对应像素的乘数因子, 核在每个像素的输出等于各个像素与对应因子乘积之和, 作用邻域的尺寸即为核的尺寸5× 5。梯度核矩阵赋予中心较大权值, 能够检测出局部灰度值大的点目标。周围权值绝对值较低而且外层为负值, 用于抑制目标周围复杂背景, 从而提高目标信噪比。优势在于运算速度快、实时性好。

具体目标探测算法为:采集复杂云层背景下弱小目标图像序列1000帧, 将图像序列归一化到[0, 1]矩阵, 进行小窗口双边滤波处理, 窗口滤波核尺寸取3, 空间邻近因子σ d取1, 像素相似因子σ r取0.1; 然后将处理后图像与梯度检测模板F做卷积; 对上述处理结果图像进行取反二值化处理, 采用最大类间方差法(OTSU)[17]获取自适应阈值, 自适应阈值在0.5左右, 然后进行二值化处理。经过此步骤, 得到候选目标点; 观察上述操作的结果图, 候选目标点个数稳定不多, 每帧第一列与最后一列都存在3个位置固定不变的点噪声, 由于其在图像序列中位置固定不变, 本文认定是虚假目标, 予以剔除; 对上述操作处理后的1000帧图像序列进行帧间差分, 帧间间隔为5帧, 得到弱小目标运动轨迹, 通过目标运动轨迹, 验证上述目标检测算法检测出目标的真实性。目标检测结果见图6, 图6(a)为1000帧中选取的6幅目标图像, 图6(b)为小窗口双边滤波检测结果, 图6(c)为最终检测结果。图7为获取的弱小目标运动轨迹。

图6 目标检测结果Fig.6 Result of target detection

图7 弱小目标运动轨迹Fig.7 Dim target motion trajectory

3 实验结果分析

本文图片处理结果在MATLAB R2014a软件平台上实现, 使用PC的CPU为i7-4790, 3.60 GHz, 运行内存为8 GB。

3.1 非均匀性校正算法性能评价

灰度均匀图像的非均匀性好坏可以用标准差(Std)大小来衡量, 通常标准差大的图像均匀性较差。表1列出了校正前与校正后图像标准差, 通过比较发现, 最终结果标准差都在10左右, 剩余坏点剔除效果也比较好, 结果表明本文提出的基于梯度天空背景的非均匀性校正算法有效性强。

表1 校正算法性能评价 Table 1 Performance evaluation of correction algorithm
3.2 目标检测算法性能评价

红外图像工程中常用信噪比SNR和信噪比增益GSNR作为目标检测结果的评价标准, 两者的定义分别如下:

SNR=|μt-μb|σb(12)

GSNR=SNR2SNR1(13)

式中:μ t为目标区域灰度均值; μ b为局部背景区域的灰度均值; σ b为局部背景区域的标准差。

由于篇幅原因, 表2仅列出了第100帧、200帧、300帧的检测性能评价。

表2 目标检测算法性能评价 Table 2 Performance evaluation of target detection algorithm

从信噪比分析来看, 本文方法处理后的信噪比明显高于原图, 信噪比增益在16倍以上, 均精确的检测出目标并定位到目标位置。

4 结束语

红外焦平面阵列响应非均匀性严重影响测量精度和成像质量, 而且非均匀性噪声会随着工作环境和时间的变化发生漂移, 因此, 基于定标的校正方法必须要实时实地获取场景校正系数。本文提出了基于梯度天空背景的两点非均匀性校正法, 首先采取邻域像素值替代的方法对位置固定不变的过热像元进行剔除, 然后利用两个俯仰角度的纯净天空图像作为两个温度点进行两点校正获得增益系数和偏置系数, 最后通过修正增益和偏置来剔除剩余坏点。实验结果表明提出的方法有效性强, 无需复杂的黑体定标过程, 只需在使用前对着纯净无云的天空场景进行两次捕获和处理, 同时算法复杂度不高, 满足实时性要求。其次, 在非均匀性校正后的基础上, 利用小窗口双边滤波和梯度模板联合检测算法进行暗弱点目标探测, 结果表明提出的算法对复杂云层背景的抑制效果较好, 可有效提高图像信噪比。

The authors have declared that no competing interests exist.

参考文献
[1] 余毅, 常松涛, 王旻, . 宽动态范围红外测量系统的快速非均匀性校正[J]. 光学精密工程, 2015, 23(7): 1932-1938.
Yu Yi, Chang Song-tao, Wang Min, et al. Fast non-uniformity correction for high dynamic infrared radiometric system[J]. Optics and Precision Engineering, 2015, 23(7): 1932-1938. [本文引用:1]
[2] 王刚, 陈永光, 杨锁昌, . 采用图像块对比特性的红外弱小目标检测[J]. 光学精密工程, 2015, 23(5): 1424-1433.
Wang Gang, Chen Yong-guang, Yang Suo-chang, et al. Detection of infrared din small target based on image patch contrast[J]. Optics and Precision Engineering, 2015, 23(5): 1424-1433. [本文引用:1]
[3] 宁永慧, 郭永飞, 曲利新, . 多通道时间延迟积分CCD辐射标定和像元实时处理[J]. 光学精密工程, 2015, 23(10): 2952-2961.
Ning Yong-hui, Guo Yong-fei, Qu Li-xin, et al. Radiometric calibration and pixel data real-time processing of multi-tip TDICCD[J]. Optics and Precision Engineering, 2015, 23(10): 2952-2961. [本文引用:1]
[4] 殷世民, 相里斌, 周锦松. 辐射源标定红外焦平面阵列非均匀性校正算法研究[J]. 光子学报, 2008, 37(5): 992-995.
Yin Shi-min, Xiang Li-bin, Zhou Jin-song, et al. Research on non-uniformity correction of IRFPA based on radiaion source scaling[J]. Acta Photonica Sinica, 2008, 37(5): 992-995. [本文引用:1]
[5] 白俊奇, 陈钱. 基于环境温度的红外焦平面阵列非均匀性校正[J]. 红外与毫米波学报, 2010, 29(1): 50-52.
Bai Jun-qi, Chen Qian. Nonuniformity correction for infraredfocalplane arrays based on environment temperature[J]. Journal of Infrared and Millimeter Waves, 2010, 29(1): 50-52. [本文引用:1]
[6] Cao Yan-peng, Christel Tisse. Single-image basedsolution for optics temperature-dependent nonuniformity correction in an uncooled long-waveinfraredcamera[J]. Optics Letters, 2014, 39(3): 646-648. [本文引用:1]
[7] Guadagnoli E, Giunti C, Porta A . Thermal imager non-uniformity sources modeling[C]//Proceedings of the SPIE, Orland o, Florida, United States, 2011: 1-12. [本文引用:1]
[8] 张昊, 刘振国, 胡晓梅, . 场景主动运动控制的非均匀性校正方法[J]. 红外与激光工程, 2011, 40(3): 397-401.
Zhang Hao, Liu Zhen-guo, Hu Xiao-mei, et al. Nonuniformity correction based on active movement-control of scene[J]. Infrared and Laser Engineering, 2011, 40(3): 397-401. [本文引用:1]
[9] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction forstaringfocal plane arrays using scene-based techniques[J]. Proceedings of the SPIE, Washington DC, 1990: 224-233. [本文引用:1]
[10] Scribner D, Sarkady K A, Kruer M, et al. Adaptive retina-like preprocessing for imaging detector arrays[C]//International Conference on Neural Networks, San Francisco, 1993: 1955-1960. [本文引用:1]
[11] Hayat M M, Torres S N, Cain S C, et al. Model-based real-time nonuniformitycorrection in focal plane array detectors[J]. Proceedings of the SPIE, Orland o, 1998: 122-132. [本文引用:1]
[12] 李庆, 刘上乾, 王炳健, . 基于神经网络的RFPA 非均匀性校正新算法[J]. 红外与激光工程, 2007, 36(3): 342-344.
Li Qing, Liu Shang-qian, Wang Bing-jian, et al. New nonuniformity correction algorithm for IRFPA based on neural network[J]. Infrared and Laser Engineering, 2007, 36(3): 342-344. [本文引用:1]
[13] Torres S N, Pezoa J E, Haya M M. Scene-based nonuniformity correction for focal plane arrays by the method of the inverse covariance form[J]. Applied Optics, 2003, 42(29): 5872-5881. [本文引用:1]
[14] 何泰诚. 红外焦平面非均匀性校正算法的研究[D]. 西安: 西安电子科技大学机电工程学院, 2008.
He Tai-cheng. The research for non-uniformity correction of infrared focal plane arrays[D]. Xi'an: School of Mechano-Electronic Engineering, Xidian University, 2010. [本文引用:1]
[15] 修吉宏, 黄浦, 李军, . 大面阵彩色CCD航测相机成像非均匀性校正[J]. 光学学报, 2013, 33(7): 0711003.
Xiu Ji-hong, Huang Pu, Li Jun, et al. Non-uniformity correction of large area array color CCD aerial mapping camera[J]. Acta Optica Sinica, 2013, 33(7): 0711003. [本文引用:1]
[16] 张桥舟. 智能化红外图像非均匀性校正算法及其FPGA实现[D]. 南京: 南京理工大学电子工程与光电技术学院, 2014.
Zhang Qiao-zhou. Intelligent nonuniformity correction algorithm for IRFPA and implementation by using FPGA[D]. Nanjing: School of Electronic and Optical Engineering, Nanjing University of Science and Technology, 2014. [本文引用:1]
[17] Huo Yuan-kai, Wei Gen, Zhang Yu-dong, et al. Anadaptive threshold for the Canny operator of edge detection[C]//Proceedings of the Image Analysis and Signal Processing (IASP), Zhejiang, China, 2010: 371-374. [本文引用:1]