作者简介:杨超宇(1981-),男,副教授,博士.研究方向:计算机视觉,图像分析,多媒体物联网.E-mail:yangchy@aust.edu.cn
针对煤矿井下智能视频监控采集到的视频图像质量较差、干扰多、噪点多、目标检测不准确等问题,提出了一种基于改进粒子滤波的模糊目标检测方法。在标准粒子滤波理论框架下,以视频多图像帧差为基础构建非线性、非高斯多系统状态空间融合模型;在图像帧差得到的关键点区域范围内进行粒子抽样及概率密度的传播;利用加权后验样本粒子表示多系统状态空间融合模型的后验概率密度;采用样本均值方法融合估计系统后验状态;最后对系统状态空间模型进行输出,得到目标检测结果。使用三交河煤矿井下视频监控数据进行试验验证,分别釆用改进的粒子滤波、标准粒子滤波、无损卡尔曼滤波以及扩展卡尔曼滤波等方法进行对比。试验结果表明:针对煤矿井下视频模糊目标检测问题,改进的多状态空间模型及关键区域采样粒子滤波算法具有良好的目标检测效果。
Regarding that the videos collected by intelligent monitoring system in coal mine underground are blur, a novel algorithm for unclear video object detection based on improved particle filter is proposed. In the framework of standard particle filter, a nonlinear, non-Gaussian and multi system state space fusion model is constructed based on frame difference. First, particle sampling and probability density propagation are realized in the region of the key points obtained in the frame difference image. Then, the weighted posterior sample particles are used to represent the posterior probability density of the multi system state space fusion model. The mean of the samples is used to estimate and fuse the posteriori state of the system. Finally, the system state space model is output to fulfill the object detection. Experiments are carried out using the video data of the Sanjiaohe coal mine underground monitoring system. The performance of the proposed model is evaluated by comparison with extended Kalman filter, unscented Kalman filter and particle filter. The improved accuracy and effectiveness of the proposed method are demonstrated.
煤矿智能视频监控系统能够改变以往人工监控的模式, 自动分析理解视频画面中的内容, 发现监控场景中存在的异常行为、可疑目标和潜在危险, 迅速发出实时警报, 从而指导启动相应的联动控制措施[1, 2, 3]。
本文针对煤矿井下智能视频监控系统这一特定的应用场合, 考虑光照较暗、井下粉尘大、探照强光干扰多造成的模糊和噪声现象[4, 5], 在低信噪比条件下进行井下目标的实时检测和跟踪, 提出了一种基于多状态空间及关键区域采样粒子滤波的井下目标自动检测方法。
粒子滤波(Particle filter, PF)算法也称为序列化蒙特卡洛方法(Sequential Monte-Carlo methods, SMCM), 该方法的基本思想是通过随机粒子抽样传播概率密度, 用一组带有权值的随机采样粒子表示系统状态的后验概率密度(Posterior probability density function, PDF), 并利用该粒子集以样本均值方法计算当前系统状态的估计值[6], 不但避免了对目标状态矩阵的积分运算, 而且为解决非线性、非高斯动态系统中的目标检测及跟踪问题提供了一种简便、有效的方法[7, 8]。
传统的粒子滤波方法, 仅考虑视频序列中某一帧的状态特征, 在一帧中进行粒子采样、预测更新状态量、递归估计后验概率密度、估计输出状态量等计算操作。但实际中视频序列目标的检测识别与上下文环境紧密相关, 因此仅考虑一帧的状态量, 将关键的时间序列上下文信息丢弃, 会严重影响目标检测的效果。尤其是在煤矿井下的特殊环境中, 视频监控采集到的图像信息较为模糊、噪声大, 更需要视频前、后多帧图像信息的检测辅助支持。其次, 粒子滤波采样时会在当前图像帧全部范围内进行特征采样, 没有对检测目标的重点范围进行标定, 检测目标时容易出现误检的情况。在井下视频监控中, 视频采集设备是固定的, 井下动态目标出现的范围是有限的。因此, 将粒子采样范围划定在目标出现可能性较大的区域内, 更容易准确地检测到目标。
本文从状态估计的角度分析煤矿井下模糊目标分割问题, 建立基于时间序列的多状态模型, 利用Bayesian迭代和逐次求精机制, 求解问题相对应的多状态空间转移模型及观测模型。将视频序列中获取的帧差图像做为关键点区域, 通过在关键点区域内进行粒子采样, 缩小目标检测范围, 能够更加准确、快速地检测到目标。最后, 采用样本均值方法进行多模型融合, 得到检测结果。构建的目标检测系统模型如图1所示。
视频目标检测的任务在粒子滤波框架下转化为在视频序列中使用观测数据推理出检测目标的空间状态的问题, 即在时变动态系统中估计状态空间参数, 状态推理框架中包括两种模型[9, 10]:①动态模型, 描述目标状态在时间维上的演变过程; ②观察模型, 在离散的时间上获取包括噪声数据的观察状态与目标实际状态的关联。在
式中:
依据粒子滤波解决框架, 设系统演变过程为马尔可夫过程, 目标检测就是根据有噪声观测值, 递归估计出非线性系统状态的后验概率密度, 并且采用样本均值的方法对多个系统状态的后验概率密度进行融合, 其计算公式为:
通过贝叶斯参数估计进行目标检测, 对于稳定随机过程, 从观察数据zk, n中推理k时刻第n个系统状态值xk, n, 构建后验概率密度函数
式中:
最优贝叶斯估计的一般表达形式由上述预测和更新步骤给出, 在约束条件下, 采用卡尔曼滤波方法计算最优贝叶斯解。在贝叶斯最优估计框架下, 许多非线性问题的求解都要求计算高维积分, 基于随机采样运算的蒙特卡罗方法可以模拟贝叶斯估计求解问题[11, 12]。
为了验证本文算法的有效性, 对取自三交河煤矿井下的两组监控视频数据进行分析, 如图2和图3所示。场景一为副井下口出口视频, 该视频帧高度为576像素, 帧宽度为704像素, 帧速率为15帧/s, 比特率为2048 kbit/s。场景二为煤矿井下皮带机传送视频数据, 该视频帧高度为576像素, 帧宽度为720像素, 帧速率为30帧/s, 比特率为1024 kbit/s。视频图像由于受到井下光照及雾尘噪声等因素的影响, 图像场景模糊不清。
设系统状态
因为视频开始前
在煤矿井下视频监控中, 目标出现的范围是有限的, 视频监控画面中很大一部分是无效的背景区域。在井下光线较弱环境中, 目标检测时易将目标有限出现区域与周围环境混淆。通过在关键区域内采样, 能缩小目标检测范围, 去除视频中无效的背景区域, 既能提高采样效率, 也能更加准确地检测到视频目标。图5为根据帧差并集获得的粒子采样区域分布图, 由于视频帧的原点坐标在屏幕左上角, 而分布图原点坐标在左下角, 所以粒子采样区域分布图与帧差并集上下方向相反。
多状态模型粒子采样系统PDF用经验分布逼近为:
式中:
在定义的井下模糊目标检测状态空间中, 式(7)能够得到方便于随机抽样的条件概率分布, 具有更大的支撑集。
当井下视频监控观测序列数据到达时, 在
依据迭代计算得到任一时刻随机抽取粒子的权重值, 根据贝叶斯公式有:
根据式(9), 获得重要性权值的计算结果为:
在计算重要性权重并归一化之后, 得到一组加权的粒子
粒子滤波算法最难解决的是权值退化问题, 当经过若干次迭代以后, 可能只有很少数的粒子具有重要性权值, 最终的情况会变成只有一个粒子的权值趋近于1, 其他粒子权值越来越小, 甚至忽略不计。这个问题会增加大量的计算时间, 但是对系统状态的估计不起任何作用, 降低了算法性能[15]。解决权值退化的常用方法是重要性重采样方法[16], 它是对随机采样粒子和表示其相应权值的概率密度函数进行重新采样, 将权值较小的粒子删除, 增加权值较大的粒子, 重新得到一组新的粒子样本。经过重要性重采样以后, 粒子的分布最后会与目标概率分布基本一致。
本文方法在关键区域
步骤1 粒子集初始化。
获取视频中前面
步骤2 采样并计算权值。
获取到新的监控视频帧之后, 计算更新前
步骤3 状态估计输出。
依据粒子集
步骤4 重采样。
根据粒子的权值
步骤5 循环继续。
分别采用扩展卡尔曼滤波(Extended Kalman filter, EKF)、无损卡尔曼滤波(Unscented Kalman filter, UKF)、标准粒子滤波(Particle filter, PF)和本文算法4种算法对实际采集的视频数据进行目标检测试验, 试验数据为第2节所描述的两段煤矿井下监控视频数据, 如图2(a)(b)(c)、图3(a)(b)(c)所示, 试验程序在Windows系统下的Visual Studio 10平台上使用OpenCV2.49库运行。通过试验结果比较4种算法的目标检测效果和目标检测误差、运行时间效率等, 分析各种算法的优劣。
在煤矿井下监控视频序列条件下, 赋予权值的粒子集对目标检测近似, 通过随机位置对粒子进行初始化估计, 利用平均相等的先验权值, 在检测运动目标过程中对目标信息进行更新, 标定新的目标位置和检测结果, 粒子通过状态空间转移模型进行演化, 相应的权值被考虑为相应粒子的似然函数, 从下一帧的图像中检测到目标图像。算法中主要设定的状态参量包括位置、速度、加速度等信息, 位置状态
图7和图8分别为使用4种算法对视频帧图像进行目标检测的运行结果。其中, 图7(a)(b)和图8(a)(b)显示了使用EKF算法和UKF算法进行煤矿井下视频目标检测的运行结果, 可以看到:场景一中由于光照原因, 人员与运煤车目标出现反差较大,
人员运动较亮而运煤车运动轨迹较为模糊, 因此算法无法将场景中两个目标同时清晰地检测出。场景二中由于光照较暗并且有粉尘, 因此并没有检测出皮带机上的运输煤目标, 甚至连运动的皮带也很难检测出来。图7(c)和图8(c)是采用PF算法分别在场景一和场景二中的处理效果, 从图中可以看出:算法能够检测出一部分运动目标, 但是由于粒子采样的不准确, 因此检测的目标像素错误率较高、误检率较高, 有丢失检测目标的情况。图7(d)和图8(d)是本文算法的检测结果, 在视频数据不清晰的情况下, 本文算法依然能够提取出目标信息, 有助于提高整个视频监控系统的检测和识别能力。
通过计算高斯混合模型结合手动标记方法给出运动目标真实的运动轨迹, 并采用欧式距离
图10(a)和10(b)中分别显示了两个场景中4种算法的目标检出正确率对比结果, 比较了4种算法的目标检出误差像素值, 包括漏检目标像素和误检目标像素, 用于判断正确目标的检出情况。可以看出:本文算法在目标检测中, 误差像素数目保持在了较低的水平值, 每一帧的误差像素数目均小于50。而其他算法, 分别达到50以上甚至100以上, 而且在某些帧中, 由于目标的模糊性, 误检像素会经常达到数百个的极值, 表明在某些不清晰的视频帧中, 这些方法无法准确地检测出井下巷道中的模糊目标。
为了能够在煤矿智能视频监控系统中更好地检测出目标对象, 给后续目标行为分析提供可靠的基础, 本文提出了一种改进粒子滤波的煤矿井下视频模糊目标检测算法。通过试验对本文算法与几种常见目标检测跟踪算法的检测结果进行比较分析, 可以看出本文算法在煤矿井下复杂环境下具有很好的检测效果, 比其他算法的目标检出正确率高。但是本文算法目前还具有收敛性差、实时性低等缺陷, 后续研究工作将在这些方面进行改进。
The authors have declared that no competing interests exist.
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|