MFAC理论是侯忠生教授于1994年提出的一种基于数据驱动理论的控制方法^{[20, 21]}, 该方法仅利用系统的在线的输入输出数据, 建立等价的动态线性化模型对非线性受控系统进行估计, 仅利用多步在线历史数据以及对视频背景变化的参数自适应和结构自适应来完成对背景变化的学习与控制, 不追求特定的估计指标, 不会产生模型失效的问题; 通过控制系统的伪阶数设定采用的历史数据量, 效果及稳定性优于单步学习滤波器; 且与其他数据驱动方法相比, 需要调整的参数少、参与在线运算的数据量适中, 迭代简单, 有利于对在线系统的实时估计。本文将MFAC理论引入背景建模中, 建立图像背景的表达。根据获取到的背景变化信息, 对背景的更新过程进行控制。

令 {B(x, y, 1), B(x, y, 2), …, B(x, y, t)}表示背景图像中像素点 (x, y)的值关于时间 t的离散序列, 该序列可看作一个离散时间的非线性单输入单输出系统, 则该序列的图像背景可以表达为:

B(x, y, t)=f(B(x, y, t-1), …, B(x, y, t-ny), u(x, y, t-1), …u(x, y, t-nu))(1)

式中: B(x, y, i)代表点 (x, y)在 i时刻的背景值; u(x, y, j)代表背景中像素点 (x, y)在 j时刻的系统输入值; ny与 nu分别表示系统的未知阶数; f·为未知的非线性函数。

由于在图像处理中, 各像素点的值为有界整数, 满足广义Lipschitz条件^{[21, 22]}, 故可将背景光照变化的过程表达为如下全格式动态线性化模型:

MFAC(x, y, t)=B(x, y, t-1)+φT(x, y, t-1)H(x, y, t-1)(2)

式中: MFAC(x, y, t)表示背景图像中像素点 (x, y)在 t时刻利用全格式动态线性化方法得到的估计值; B(x, y, t-1)为前一时刻的背景值; H(x, y, t-1)为该像素点此时对应的系统输入向量; φ(x, y, t-1)为系统的伪梯度向量。

系统输入向量 H(x, y, t-1)的定义如下:

H(x, y, t-1)=Δu(x, y, t-1), Δu(x, y, t-2), …Δu(x, y, t-Lu), ΔB(x, y, t-1), ΔB(x, y, t-2), …ΔB(x, y, t-Ly)]T3

式中: Lu、Ly为系统的伪阶数; Δu(x, y, t-1)与 ΔB(x, y, t-1)分别表示像素点 (x, y)在 t-1时刻系统输入的变化量与背景值的变化量。

伪梯度向量 φ(x, y, t-1)的定义如下:

φ(x, y, t-1)=[φ1(x, y, t-1), φ2(x, y, t-1), …φLu(x, y, t-1), φLu+1(x, y, t-1), …φLu+Ly(x, y, t-1)]T4

式中: φi(x, y, t-1)表示像素点 (x, y)在时刻 t-1时的伪梯度向量的第 i个分量。

利用全格式动态线性化的方法, 可以将难以处理的背景光照变化的非线性过程等价地转化为一个带有时变标量的线性时变系统。即可以采用如下MFAC控制方案:

Δu(x, y, t-1)=ρtφ^(x, y, t-1)λ+‖φ^(x, y, t-1)‖2×(I(x, y, t)-B(x, y, t-1))(5)

φ^(x, y, t-1)=φ^(x, y, t-2)+ηtH(x, y, t-2)μ+‖H(x, y, t-2)‖2×(Δy(x, y, t-1)-φ^(x, y, t-2)H(x, y, t-2))(6)

φ^(x, y, t-1)=φ^(1), 当‖φ^(x, y, t-1)‖≤ε或H(x, y, t-1)‖≤ε7

式中: λ、μ为权重因子; ρt、ηt为步长序列, 其中 ρt为 Lu+Ly维行向量; ε为充分小的正数; φ^(x, y, t-1)为像素点 (x, y)在 t-1时刻伪梯度向量的估计值; I(x, y, t)为在 t时刻摄像机获取的图像中对应该点的值。

上述式(5)式(7)即为本方法的三条控制律。其中, 式(5)为对于背景的输入控制迭代, 用系统中虚拟的输入来修正光强变化和检测误差等非线性因素的干扰, 使获取的背景更加真实、稳定; 式(6)为对伪梯度的估计算法, 得到的伪梯度向量为一个慢时变参数, 可以体现出光照的缓慢变化情况与其在前几个时刻取值的内在关联性与影响规律; 式(7)为对伪梯度的重置算法, 使得本方法具有更强的时变参数跟踪能力。

在对视频中的背景进行建模时, 需要考虑背景的值随着光照的变化而产生变化。本文采用式(8)所示的形式进行背景更新:

B(x, y, t)=MFAC(x, y, t), M=0B(x, y, t-1), M=18

式中: t为时间序列; B(x, y, t)代表图像中的像素点 (x, y)在时刻 t时的背景值; MFAC(x, y, t)为采用MFAC方法对于该像素点 t时刻的估计值。 M=1表示当前像素点存在前景物体, M=0表示当前像素点无前景物体。前景物体通过式(9)进行判别:

Ft=It-Bt-19

式中: Ft代表前景图像, 可以采用目标分割算法^{[23, 24, 25, 26]}结合运动跟踪算法^{[27, 28, 29]}得到; It代表当前帧; Bt-1代表前一时刻的背景。对于背景的初始值 B0,可根据背景初始化方法^{[30, 31, 32, 33, 34]}得到。

基于全格式MFAC方法的4个控制变量分别为权重因子 λ, μ和步长序列 ρt, ηt。文献[35]中指出, 参数 λ与 ρt决定了控制器的响应性能与系统的超调量。当 λ增大时, 系统快速性变差, 但无超调; 将其从大到小进行小幅调整时, 其响应时间明显变短, 但容易产生超调。对于 ρt的调整效果与 λ相反, 但当 λ过小时, 超调量变化不大; 而 ρt过大时, 其快速性改善不大, 且会带来大幅超调与强烈震荡。本文选取 ρt各分量约为0.1, λ≈1, μ∈(0.1, 50), ηt∈(0.1, 50)。

当系统的伪阶数增加时, 得到的视频背景稳定性进一步增加, 实际工程实践中常取2至4阶; 出于计算复杂度的考虑, 本文选取伪阶数为3。伪梯度向量的初始值应结合视频中光照变化快慢决定, 本文选取伪梯度向量各分量约为0.16。

试验依托的设备为PC机, 配置为:Intel Core I5, 3.20 GHz, 内存4.00 GB, 利用MATLAB对视频图像验证分析。

2.2.1 谐波的效果分析

由于难以获取图像的背景真值, 本文引入谐波函数 y=10sin(0.002t)+3cos(0.003t)为真值, 加入2 dB信噪比, 均值为零的高斯白噪声。通过对本文算法与Kalman滤波器^[3]、GMM^[7]这两个经典背景模型算法对比分析其算法适应性和鲁棒性, 其实验对比分析结果如图1和图2所示, 误差分析结果表1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 Kalman、GMM及本文方法的时间序列分析对比图Fig.1 Comparison of time sequence analysis of Kalman, GMM, and proposed method

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 Kalman、GMM及本文方法的误差对比图Fig.2 Comparison of error evaluation of Kalman, GMM, and proposed method

表1

Table 1

表1(Table 1)

表1 Kalman、GMM及本文方法的性能对比与评价 Table 1 Comparison and statistic evaluation of Kalman, GMM, and proposed method 方法 平均绝对误差 误差极值 均方误差 总耗时/ms 波形 极大值 极小值 带噪声的原谐波 0.6137 2.3781 -3.4835 0.767 - 波形杂乱 Kalman滤波器 0.1529 0.6594 -0.6869 0.1973 0.1 波形震荡 GMM模型 0.1888 0.7644 -0.9025 0.238 23.9 较强震荡 本文方法 0.1268 0.4254 -0.6448 0.1763 11.8 变化稳定

表1 Kalman、GMM及本文方法的性能对比与评价 Table 1 Comparison and statistic evaluation of Kalman, GMM, and proposed method

由图1和图2知, 本文方法相比于Kalman滤波器与GMM模型能较好地逼近函数真值且具有较好的鲁棒性; 由图2和表1知, 本文算法误差均小于Kalman滤波器与GMM模型算法。在耗时方面, 本方法运算速度介于GMM模型与Kalman滤波器之间。在波形的稳定性方面, 本方法相比于Kalman滤波器与GMM模型算法更加平稳, 与真值的变化情况更为接近。

2.2.2 单像素点时间序列效果分析

为了有效地测试本文算法单像素点的背景的抽取能力, 选取5000帧光照条件变化缓慢的视频序列, 选取坐标(267, 84)的像素点, 分别利用本文算法、Kalman滤波器与GMM模型获取其背景, 实验对比结果如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 单点时间序列背景抽取对比图Fig.3 Evaluation of background subtraction of time sequence on single pixel

由图3可见, 本文算法较Kalman滤波器与GMM模型算法更为稳定, 鲁棒性更强。

实验过程选取了不同场景视频序列, 通过本文算法、Kalman滤波器、GMM模型进行对比验证分析, 其对比实验结果如表2和图3与图4所示。

表2

Table 2

表2(Table 2)

表2 样例视频段测试结果对比 Table 2 Comparison of experiment results of sample video data set

表2 样例视频段测试结果对比 Table 2 Comparison of experiment results of sample video data set

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 视频段定量对比分析结果图Fig.4 Comparison and quantitative analysis of sample video data set

对视频段的背景评价中, 定量分析指标选取为召回率(Recall), 精度(Precision)以及正确分类率(PCC):

Recal=TP/(TP+FN)(10)Precison=TP/(TP+FP)(11)PCC=(TP+TN)(TP+TN+FP+FN)(12)

式中: TP代表被准确识别的背景像素点个数; TN代表被准确识别的前景点个数; FP代表被错误识别成背景的前景点个数; FN代表被错误识别成前景的背景点个数。

表2给出了视频序列“ PETS2006” 中第300帧、第700帧第950帧和第1200帧的本文算法、Kalman滤波器、GMM模型的前景、背景抽取对比效果以及人工识别出的前景的比较。由表2可以看出本文算法能够较好地获取前景物体和良好的背景抽取能力。图4给出了这一视频序列300至1200帧的定量分析结果。由此图可知, 本文算法在召回率、精度及正确分类率三个方面效果良好, 均超过了98%, 结果优于Kalman滤波器及GMM模型。

表3给出了环境、光照、前景个体数量等不同因素影响下, 采用本文算法、Kalman滤波器、GMM模型处理视频序列的前景、背景抽取对比效果。由表3可以看出:①相比于Kalman滤波器, 本文算法得到的背景值更加稳定, 不会因图像像素值的突变产生过多的前景噪点或将噪声“ 学习” 入背景中; ②相比于GMM模型, 不会因前景物体较多或运动缓慢、长时间停留等原因而使得背景模糊不清、产生“ 鬼影” 现象; ③在光照缓慢变化时可以根据历史数据驱动而准确地学习其变化的规律, 在较长的时间后仍能保持获取到的背景的稳定性。

表3

Table 3

表3(Table 3)

表3 不同视频段测试效果对比 Table 3 Comparison of experiment results of different video data sets

表3 不同视频段测试效果对比 Table 3 Comparison of experiment results of different video data sets

由此可见, 本文算法具有优于Kalman滤波器、GMM模型的背景抽取能力和较好的鲁棒性。