基于改进粒子滤波的煤矿视频监控模糊目标检测
杨超宇1,2, 李策1, 梁胤程1, 杨峰1
1.中国矿业大学(北京) 机电与信息工程学院,北京 100083
2.安徽理工大学 经济与管理学院,安徽 淮南 232001

作者简介:杨超宇(1981-),男,副教授,博士.研究方向:计算机视觉,图像分析,多媒体物联网.E-mail:yangchy@aust.edu.cn

摘要

针对煤矿井下智能视频监控采集到的视频图像质量较差、干扰多、噪点多、目标检测不准确等问题,提出了一种基于改进粒子滤波的模糊目标检测方法。在标准粒子滤波理论框架下,以视频多图像帧差为基础构建非线性、非高斯多系统状态空间融合模型;在图像帧差得到的关键点区域范围内进行粒子抽样及概率密度的传播;利用加权后验样本粒子表示多系统状态空间融合模型的后验概率密度;采用样本均值方法融合估计系统后验状态;最后对系统状态空间模型进行输出,得到目标检测结果。使用三交河煤矿井下视频监控数据进行试验验证,分别釆用改进的粒子滤波、标准粒子滤波、无损卡尔曼滤波以及扩展卡尔曼滤波等方法进行对比。试验结果表明:针对煤矿井下视频模糊目标检测问题,改进的多状态空间模型及关键区域采样粒子滤波算法具有良好的目标检测效果。

关键词: 信息处理技术; 目标检测; 粒子滤波; 多状态空间; 关键区域采样
中图分类号:TD76 文献标志码:A 文章编号:1671-5497(2017)06-1976-10
Blurred object detection based on improved particle filter in coal mine underground surveilance
YANG Chao-yu1,2, LI Ce1, LIANG Yin-cheng1, YANG Feng1
1.School of Mechanical Electronic and Information Engineering, China University of Mining and Technology(Beijing), Beijing 100083, China
2.School of Economics and Management, Anhui University of Science and Technology, Huainan 232001, China
Abstract

Regarding that the videos collected by intelligent monitoring system in coal mine underground are blur, a novel algorithm for unclear video object detection based on improved particle filter is proposed. In the framework of standard particle filter, a nonlinear, non-Gaussian and multi system state space fusion model is constructed based on frame difference. First, particle sampling and probability density propagation are realized in the region of the key points obtained in the frame difference image. Then, the weighted posterior sample particles are used to represent the posterior probability density of the multi system state space fusion model. The mean of the samples is used to estimate and fuse the posteriori state of the system. Finally, the system state space model is output to fulfill the object detection. Experiments are carried out using the video data of the Sanjiaohe coal mine underground monitoring system. The performance of the proposed model is evaluated by comparison with extended Kalman filter, unscented Kalman filter and particle filter. The improved accuracy and effectiveness of the proposed method are demonstrated.

Keyword: information processing technology; object detection; particle filter; multi-state space; critical region sampling

煤矿智能视频监控系统能够改变以往人工监控的模式, 自动分析理解视频画面中的内容, 发现监控场景中存在的异常行为、可疑目标和潜在危险, 迅速发出实时警报, 从而指导启动相应的联动控制措施[1, 2, 3]

本文针对煤矿井下智能视频监控系统这一特定的应用场合, 考虑光照较暗、井下粉尘大、探照强光干扰多造成的模糊和噪声现象[4, 5], 在低信噪比条件下进行井下目标的实时检测和跟踪, 提出了一种基于多状态空间及关键区域采样粒子滤波的井下目标自动检测方法。

1 模糊目标检测系统模型

粒子滤波(Particle filter, PF)算法也称为序列化蒙特卡洛方法(Sequential Monte-Carlo methods, SMCM), 该方法的基本思想是通过随机粒子抽样传播概率密度, 用一组带有权值的随机采样粒子表示系统状态的后验概率密度(Posterior probability density function, PDF), 并利用该粒子集以样本均值方法计算当前系统状态的估计值[6], 不但避免了对目标状态矩阵的积分运算, 而且为解决非线性、非高斯动态系统中的目标检测及跟踪问题提供了一种简便、有效的方法[7, 8]

传统的粒子滤波方法, 仅考虑视频序列中某一帧的状态特征, 在一帧中进行粒子采样、预测更新状态量、递归估计后验概率密度、估计输出状态量等计算操作。但实际中视频序列目标的检测识别与上下文环境紧密相关, 因此仅考虑一帧的状态量, 将关键的时间序列上下文信息丢弃, 会严重影响目标检测的效果。尤其是在煤矿井下的特殊环境中, 视频监控采集到的图像信息较为模糊、噪声大, 更需要视频前、后多帧图像信息的检测辅助支持。其次, 粒子滤波采样时会在当前图像帧全部范围内进行特征采样, 没有对检测目标的重点范围进行标定, 检测目标时容易出现误检的情况。在井下视频监控中, 视频采集设备是固定的, 井下动态目标出现的范围是有限的。因此, 将粒子采样范围划定在目标出现可能性较大的区域内, 更容易准确地检测到目标。

本文从状态估计的角度分析煤矿井下模糊目标分割问题, 建立基于时间序列的多状态模型, 利用Bayesian迭代和逐次求精机制, 求解问题相对应的多状态空间转移模型及观测模型。将视频序列中获取的帧差图像做为关键点区域, 通过在关键点区域内进行粒子采样, 缩小目标检测范围, 能够更加准确、快速地检测到目标。最后, 采用样本均值方法进行多模型融合, 得到检测结果。构建的目标检测系统模型如图1所示。

图1 目标检测系统模型Fig.1 Model of object detection system

视频目标检测的任务在粒子滤波框架下转化为在视频序列中使用观测数据推理出检测目标的空间状态的问题, 即在时变动态系统中估计状态空间参数, 状态推理框架中包括两种模型[9, 10]:①动态模型, 描述目标状态在时间维上的演变过程; ②观察模型, 在离散的时间上获取包括噪声数据的观察状态与目标实际状态的关联。在 k时刻, 取煤矿监控视频中当前帧的前Nn=1Nfrmk, 分别对相邻两帧做帧差计算, 得到k时刻前N帧的帧差集 n=1N-1difk, n, 对每个帧差结果都建立一个状态空间模型, 设 N个非线性动态系统的状态空间模型为:

xk, n=fk, nxk-1, n, vk-1, nn{1, 2, N}(1)

zk, n=hk, nxk, n, uk, n, n{1, 2, N}(2)

式中: xk, n={x0, n, x1, n, , xk, n}k时刻的第 n个系统状态; zk, n={z0, n, z1, n, , zk, n}k时刻第 n个观测数据; fk, n:RxRx+1为系统状态转移函数; hk, n:RxRx+1为系统观测函数; vk, nuk, n分别为系统演化过程噪声和观测噪声。

依据粒子滤波解决框架, 设系统演变过程为马尔可夫过程, 目标检测就是根据有噪声观测值, 递归估计出非线性系统状态的后验概率密度, 并且采用样本均值的方法对多个系统状态的后验概率密度进行融合, 其计算公式为:

n=1Np(xk, n|zk, n)

通过贝叶斯参数估计进行目标检测, 对于稳定随机过程, 从观察数据zk, n中推理k时刻第n个系统状态值xk, n, 构建后验概率密度函数 p(xk, n|zk, n)通过先验知识得到 p(x0|z0)初始概率密度函数, 通过两步递归运算得出 p(xk, n|zk, n)的预测步骤和更新步骤为:

p(xk, , n|zk-1, n)=p(zk, n|xk, n)p(xk, n|zk, n)p(zk, n|zk-1, n)3

式中: p(zk, n|zk-1, n)为归一化常数:

p(zk, n|zk-1, n)=p(zk, n|xk, n)p(xk, n|zk-1, n)dxk, n4

最优贝叶斯估计的一般表达形式由上述预测和更新步骤给出, 在约束条件下, 采用卡尔曼滤波方法计算最优贝叶斯解。在贝叶斯最优估计框架下, 许多非线性问题的求解都要求计算高维积分, 基于随机采样运算的蒙特卡罗方法可以模拟贝叶斯估计求解问题[11, 12]

2 模糊目标检测算法实现

为了验证本文算法的有效性, 对取自三交河煤矿井下的两组监控视频数据进行分析, 如图2和图3所示。场景一为副井下口出口视频, 该视频帧高度为576像素, 帧宽度为704像素, 帧速率为15帧/s, 比特率为2048 kbit/s。场景二为煤矿井下皮带机传送视频数据, 该视频帧高度为576像素, 帧宽度为720像素, 帧速率为30帧/s, 比特率为1024 kbit/s。视频图像由于受到井下光照及雾尘噪声等因素的影响, 图像场景模糊不清。

图2 场景一试验Fig.2 Experiments on first scenario

图3 场景二试验Fig.3 Experiments on second scenario

2.1 粒子采样

设系统状态 xk, n服从一阶Markov过程, xk, n与系统观测值 zk, n相互独立[13]。在系统初始状态 x0, n下, 从先验分布 p(x0)中抽取出 M个独立同分布样本 xiM

因为视频开始前 N帧无法再往前取视频帧, 所以前 N帧在视频帧全范围中抽取样本。此处 N的值设为10。在第10帧以后, 粒子采样的范围缩小为前 N帧相邻帧差计算得到的关键区域。帧差计算结果如图2和图3中(d)~(f)所示。 k时刻的关键区域设定为当前帧的前 N相邻帧差的并集 KAk, 如式(5)所示, 并且将帧差处理结果用图像形态学的腐蚀膨胀处理, 使得到的目标范围闭合, 从而能保证粒子采样时不会漏掉目标出现区域, 如图4所示。

KAk=(frmk-1-frmk-2)(frmk-2-frmk-3)(frmk-n+2-frmk-n+1)(5)

在煤矿井下视频监控中, 目标出现的范围是有限的, 视频监控画面中很大一部分是无效的背景区域。在井下光线较弱环境中, 目标检测时易将目标有限出现区域与周围环境混淆。通过在关键区域内采样, 能缩小目标检测范围, 去除视频中无效的背景区域, 既能提高采样效率, 也能更加准确地检测到视频目标。图5为根据帧差并集获得的粒子采样区域分布图, 由于视频帧的原点坐标在屏幕左上角, 而分布图原点坐标在左下角, 所以粒子采样区域分布图与帧差并集上下方向相反。

图4 帧差并集Fig.4 Union of frame difference

图5 粒子采样范围分布Fig.5 Range and distribution of particle sampling

2.2 粒子加权

多状态模型粒子采样系统PDF用经验分布逼近为:

q(xk, n|zk, n)=1Mi=1Mδ(xk, n-xk, ni)(6)

式中: δ·为狄拉克 δ函数, 此时对建立的多个系统状态模型进行样本均值融合计算:

q(xk|zk)=1Nn=1Nq(xk, n|zk, n)(7)

在定义的井下模糊目标检测状态空间中, 式(7)能够得到方便于随机抽样的条件概率分布, 具有更大的支撑集。

当井下视频监控观测序列数据到达时, 在 k时刻从 q(xk|xki, zk)中抽取 xk, ni。在实际随机采样过程中, p(zk|xk-1i)使用先验概率分布函数:

q(xki|xk-1i, zk)=p(xk|xk-1)(8)

依据迭代计算得到任一时刻随机抽取粒子的权重值, 根据贝叶斯公式有:

ωki=ωk-1ip(zk|xki)p(xkj|xk-1j)q(xki|xki, zk)=ωk-1ip(zk|xki)p(xkj|xk-1j)q(xki|xki, zk)=ωk-1ip(zk|xk-1i)(9)

根据式(9), 获得重要性权值的计算结果为:

ωki=ωk-1ip(zk|xk-1i)(10)

在计算重要性权重并归一化之后, 得到一组加权的粒子 {xki, ωi; i=1, 2, , M}, 当粒子数量足够多时, 后验概率密度的加权估计可以逼近系统真实分布状态。

2.3 状态估计输出

当迭代到第k步时, k时刻的系统状态后验分布p(xk |zk)能够由加权粒子集 {xki, ωki}近似表示[14], 视频帧系统目标状态 xk的最小均方误差估计为:

x^k=E(xk|zk)i=1Mωkixki11

最大后验估计为:

x^k=argmaxxk[p(xk|zk)]argmaxxkωki12

2.4 重要性重采样

粒子滤波算法最难解决的是权值退化问题, 当经过若干次迭代以后, 可能只有很少数的粒子具有重要性权值, 最终的情况会变成只有一个粒子的权值趋近于1, 其他粒子权值越来越小, 甚至忽略不计。这个问题会增加大量的计算时间, 但是对系统状态的估计不起任何作用, 降低了算法性能[15]。解决权值退化的常用方法是重要性重采样方法[16], 它是对随机采样粒子和表示其相应权值的概率密度函数进行重新采样, 将权值较小的粒子删除, 增加权值较大的粒子, 重新得到一组新的粒子样本。经过重要性重采样以后, 粒子的分布最后会与目标概率分布基本一致。

本文方法在关键区域 KAk内进行均匀抽样, 产生 M个随机数, 将随机数属于关键区域中某一子区域对应的粒子复制为新粒子集中的粒子, 从而完成新粒子集的采样, 重采样过程中权值越大的粒子其对应的空间区域越大, 被复制为新粒子的概率就越大。如果在全部区域内进行粒子集重采样, 则重采样的范围过大, 容易采集到无效的粒子样本集, 粒子权值退化更快, 粒子集重采样退化如图6所示。

图6 粒子采样区域退化Fig.6 Degradation of particle sampling region

2.5 算法流程

步骤1 粒子集初始化。

获取视频中前面 N帧图像, 依据帧差法得到多帧运动模糊目标的前景像素点分布值。在 k=0时刻, 根据系统状态的先验分布 p(x0), 初始化系统状态粒子集 {x0i, ω0i}, 其中, ω0i=1/P

步骤2 采样并计算权值。

获取到新的监控视频帧之后, 计算更新前 N帧的帧差, 在帧差范围内进行粒子采样, 根据粒子滤波预测各像素点的前景目标分布概率。分别取 k=1, 2, , M, 依次从状态转移概率 p(xki|xk-1i)抽取随机粒子, 得到新的粒子集 {x~ki}根据式(9)计算 x~ki的权值 ω~ki, 并根据式(10)进行归一化。

步骤3 状态估计输出。

依据粒子集 {x~ki, ωki}, 由式(8)计算系统状态后验概率分布 p(xk|zk)像素最终属于前景或背景的概率分布值, 即系统最终状态估计可以由式(11)(12)计算得到, 计算结果作为图像分割的依据。

步骤4 重采样。

根据粒子的权值 ωki大小排序, 去除P个较小权值粒子, 从粒子集 {x~ki, ωki}中重新抽取P个粒子 {xki}, 同时令 ωk(i)=1/P, 得到新的粒子集 {xki, 1/P}

步骤5 循环继续。

k值加1, 返回到步骤2继续执行。

3 试验及结果分析

分别采用扩展卡尔曼滤波(Extended Kalman filter, EKF)、无损卡尔曼滤波(Unscented Kalman filter, UKF)、标准粒子滤波(Particle filter, PF)和本文算法4种算法对实际采集的视频数据进行目标检测试验, 试验数据为第2节所描述的两段煤矿井下监控视频数据, 如图2(a)(b)(c)、图3(a)(b)(c)所示, 试验程序在Windows系统下的Visual Studio 10平台上使用OpenCV2.49库运行。通过试验结果比较4种算法的目标检测效果和目标检测误差、运行时间效率等, 分析各种算法的优劣。

在煤矿井下监控视频序列条件下, 赋予权值的粒子集对目标检测近似, 通过随机位置对粒子进行初始化估计, 利用平均相等的先验权值, 在检测运动目标过程中对目标信息进行更新, 标定新的目标位置和检测结果, 粒子通过状态空间转移模型进行演化, 相应的权值被考虑为相应粒子的似然函数, 从下一帧的图像中检测到目标图像。算法中主要设定的状态参量包括位置、速度、加速度等信息, 位置状态 x~U0nx], y~U0my]; 速度状态 (x, y)~U[-1, 1]; 强度状态 I~U[10, 30]。粒子总数N=1000, 有效粒子门限Ns=500, p=4。

图7和图8分别为使用4种算法对视频帧图像进行目标检测的运行结果。其中, 图7(a)(b)和图8(a)(b)显示了使用EKF算法和UKF算法进行煤矿井下视频目标检测的运行结果, 可以看到:场景一中由于光照原因, 人员与运煤车目标出现反差较大,

图7 试验一目标检测结果Fig.7 First experimental results of object detection

图8 试验二目标检测结果Fig.8 Second experimental results of object detection

人员运动较亮而运煤车运动轨迹较为模糊, 因此算法无法将场景中两个目标同时清晰地检测出。场景二中由于光照较暗并且有粉尘, 因此并没有检测出皮带机上的运输煤目标, 甚至连运动的皮带也很难检测出来。图7(c)和图8(c)是采用PF算法分别在场景一和场景二中的处理效果, 从图中可以看出:算法能够检测出一部分运动目标, 但是由于粒子采样的不准确, 因此检测的目标像素错误率较高、误检率较高, 有丢失检测目标的情况。图7(d)和图8(d)是本文算法的检测结果, 在视频数据不清晰的情况下, 本文算法依然能够提取出目标信息, 有助于提高整个视频监控系统的检测和识别能力。

通过计算高斯混合模型结合手动标记方法给出运动目标真实的运动轨迹, 并采用欧式距离 d=(x1-x2)2+(y1-y2)2来衡量几种目标检测算法的目标中心点检测误差, 其中, (x1, y1)为运动目标实际中心点坐标, (x2, y2)为跟踪方法测得的中心点坐标。分别计算比较两个场景中两种检测算法的中心点检测误差, 结果如表1表2所示。目标真实点位置检测精确度曲线如图9(a)(b)所示, 从图中可以看出:本文算法具有较好的检测精度, 与真实点状态匹配度较高, 而其他几种算法检测的目标中心点偏移较大, 并且检测目标时有发散的情况。

表1 场景一目标中心跟踪误差对比 Table 1 Comparison of object center tracking error in first scenario
表2 场景二目标中心跟踪误差对比 Table 2 Comparison of object center tracking error in second scenario

图9 目标检测位置对比Fig.9 Comparison of object detection position

图10 目标检测正确率对比Fig.10 Comparison the accuracy of object detection accuracy

图10(a)和10(b)中分别显示了两个场景中4种算法的目标检出正确率对比结果, 比较了4种算法的目标检出误差像素值, 包括漏检目标像素和误检目标像素, 用于判断正确目标的检出情况。可以看出:本文算法在目标检测中, 误差像素数目保持在了较低的水平值, 每一帧的误差像素数目均小于50。而其他算法, 分别达到50以上甚至100以上, 而且在某些帧中, 由于目标的模糊性, 误检像素会经常达到数百个的极值, 表明在某些不清晰的视频帧中, 这些方法无法准确地检测出井下巷道中的模糊目标。

4 结束语

为了能够在煤矿智能视频监控系统中更好地检测出目标对象, 给后续目标行为分析提供可靠的基础, 本文提出了一种改进粒子滤波的煤矿井下视频模糊目标检测算法。通过试验对本文算法与几种常见目标检测跟踪算法的检测结果进行比较分析, 可以看出本文算法在煤矿井下复杂环境下具有很好的检测效果, 比其他算法的目标检出正确率高。但是本文算法目前还具有收敛性差、实时性低等缺陷, 后续研究工作将在这些方面进行改进。

The authors have declared that no competing interests exist.

参考文献
[1] 孙继平. 煤矿安全生产监控与通信技术[J]. 煤炭学报, 2010, 35(11): 1925-1929.
Sun Ji-ping. Technologies of monitoring and communication in the coal mine[J]. Journal of China Coal Society, 2010, 35(11): 1925-1929. [本文引用:1]
[2] 孙继平, 陈伟, 王福增, . 矿井监控图像中空列车的识别[J]. 中国矿业大学学报, 2007, 36(5): 597-602.
Sun Ji-ping, Chen Wei, Wang Fu-zeng, et al. Recognizing empty trainsin coalmine surveillance images[J]. Journal of China University of Mining & Technology, 2007, 36(5): 597-602. [本文引用:1]
[3] 厉丹. 视频目标检测与跟踪算法及其在煤矿中应用的研究[D]. 徐州: 中国矿业大学信息与控制工程学院, 2011.
Li Dan. Research on object detection and tracking algorithm and its application in coal mine[D]. Xuzhou: School of Information and Control Engineering, China University of Mining and Technology, 2011. [本文引用:1]
[4] 张谢华, 张申, 方帅, . 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报, 2014, 39(1): 198-204.
Zhang Xie-hua, Zhang Shen, Fang Shuai, et al. Clearing research on fog and dust images in coalmine intelligent video surveillance[J]. Journal of China Coal Society, 2014, 39(1): 198-204. [本文引用:1]
[5] 杜明本, 陈立潮, 潘理虎. 基于暗原色理论和自适应双边滤波的煤矿尘雾图像增强算法[J]. 计算机应用, 2015, 35(5): 1435-1438.
Du Ming-ben, Chen Li-chao, Pan Li-hu. Enhancement algorithm for fog and dust images in coal mine based on dark channel prior theory and bilateral adaptive filter[J]. Journal of Computer Applications, 2015, 35(5): 1435-1438. [本文引用:1]
[6] 王法胜, 鲁明羽, 赵清杰, . 粒子滤波算法[J]. 计算机学报, 2014, 37(8): 1679-1694.
Wang Fa-sheng, Lu Ming-yu, Zhao Qing-jie, et al. Particle filter algorithm[J]. Chinese Journal of Computers, 2014, 37(8): 1679-1694. [本文引用:1]
[7] Kitagawa G. Monte Carlo filter and smoother for non-Gaussian non-linear state space models[J]. Journal of Computational and Graphical Statistics, 1996, 5(1): 1-25. [本文引用:1]
[8] Gordon N, Salmond D. Novel approach to non-linear and non-Gaussian Bayesian state estimation[J]. Proc of Institute Electric Engineering, 1993, 140(2): 107-113. [本文引用:1]
[9] 吴刚. 基于粒子滤波与增量学习的车辆跟踪方法硏究[D]. 南京: 南京理工大学计算机学院, 2014.
Wu Gang. Research of vehicle tracking methods based on particle filter and incremental learning[D]. Nanjing: College of Computer, Nanjing University of Science and Technology, 2014. [本文引用:1]
[10] Carpenter J, Clifford P. Improved particle filter for nonlinear problems[J]. IEEE Proc of Radar, Sonar and Navigation, 1999, 146(1): 2-7. [本文引用:1]
[11] 毛晓楠. 基于粒子滤波的图像分割算法研究[D]. 上海: 上海交通大学模式识别与图像处理研究所, 2008.
Mao Xiao-nan. Research on image segmentation algorithm based on particle filter[D]. Shanghai: Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University, 2008. [本文引用:1]
[12] 李昱辰. 基于粒子滤波的视频目标跟踪方法研究[D]. 兰州: 兰州理工大学电气工程与信息工程学院, 2013.
Li Yu-chen. Research of video target tracking methods based on particle filter[D]. Lanzhou: College of Electrical and Information Engineering, Lanzhou University of Technology, 2013. [本文引用:1]
[13] 于金霞, 汤永利, 刘文静. 粒子滤波自适应机制研究综述[J]. 计算机应用研究, 2010, 27(2): 417-422.
Yu Jin-xia, Tang Yong-li, Liu Wen-jing. A survey on adaptive mechanism of particle filter[J]. Applications Research of Computers, 2010, 27(2): 417-422. [本文引用:1]
[14] Mikami D, Otsuka K, Yamato J. Memory-based particle filter for tracking objects with large variation in pose and appearance[C]//Proceedings of the European Conference on Computer Vision, Crete, Greece, 2010: 215-228. [本文引用:1]
[15] Tang Y, Bai X, Yang X, et al. Skeletonization with particle filters[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2010, 24(4): 619-634. [本文引用:1]
[16] 张苗辉, 刘先省. 基于无味粒子滤波的动态场景下高机动目标跟踪[J]. 光电子激光, 2010, 30(6): 924-929.
Zhang Miao-hui, Liu Xian-xing. Maneuverable target tracking in dynamic scene based on unscented particle filter[J]. Journal of Optoelectronics Laser, 2010, 30(6): 924-929. [本文引用:1]