基于背景特征点匹配的视频稳像

引用本文

吉淑娇, 雷艳敏, 朱明. 基于背景特征点匹配的视频稳像. 吉林大学学报:工学版, 2016, 46(6): 2116-2122
JI Shu-jiao, LEI Yan-min, ZHU Ming. Video stabilization based on background feature points. Journal of Jilin University Engineering and Technology Edition, 2016, 46(6): 2116-2122 复制到剪切板

Doi:10.13229/j.cnki.jdxbgxb201606048
Permissions

基于背景特征点匹配的视频稳像

吉淑娇¹, 雷艳敏¹, 朱明²

1.长春大学电子信息工程学院,长春 130022

2.中国科学院大学长春光学精密机械与物理研究所,长春 130033

朱明(1964-),男,研究员,博士生导师.研究方向:图像处理,光电检测技术及电视跟踪技术.

作者简介:吉淑娇(1978-),女,讲师,博士.研究方向:视频图像处理,电子稳像.E-mail:shujiaoji@163.com

基金项目:吉林省教育厅项目(2015LY502L11); 吉林省科技发展计划项目(20140101084JC)

摘要

针对特征点在前景运动物体上会严重影响运行矢量准确性的问题,本文提出利用特征点分类的方法,通过计算KLT跟踪特征点,计算运动估计所得匹配点跟踪所得特征点之间的距离,并由MSAC算法不断更新前景特征点和背景特征点集,最后仅采用背景上的特征点进行全局运动估计,从而进行稳像。实验结果表明,本文方法稳像后视频平滑度更高,而且本算法的无定义区域明显减少,更利于人眼视觉感受。

关键词: 信息处理技术; 电子稳像; 背景特征; 运动补偿

中图分类号:TN941.1 文献标志码:A 文章编号:1671-5497(2016)06-2116-07

Video stabilization based on background feature points

JI Shu-jiao¹, LEI Yan-min¹, ZHU Ming²

1.College of Electronic Information and Engineering, Changchun University, Changchun 130022,China

2.Changchun Institute of Optics, Fine Mechanics and Physics, University of Chinese Academy of Sciences, Changchun 130033,China

Abstract

The objective of this paper is to stabilize electronic image for aerial video with dynamic background. When shooting, as the camera follows the target, the video sequence changes scenarios. This is due to the movement of the camera and the change of background, so the scene is complicated. The difficulties in stabilizing video image with dynamic background include: an accurate estimate motion vector of camera movement and background compensation. To overcome such difficulties, this paper uses KLT track operator in combination with the M-estimator Sample and Consensus (MSAC) algorithm to realize feature point classification. Then, only the feature points on the background are used for global motion estimation to perform image stabilization. Experimental results demonstrate the feasibility of the proposed method.

Key words: information processing technology; electronic image stabilization; background characteristics; motion compensation

Show Figures

0 引言

视频稳像是近年来国内外学者研究的热点, 尤其对摄像机自身有运动, 且场景也发生变化的视频。在运动背景下进行视频稳像, 难点在于如何有效消除前景运动物体带来的影响^[1]。在提取特征点算法中, 特征点会落到运动前景物体上, 这种情况会给全局估计带来误差, 很多文献采用RANSAC算法进行特征点提纯, 但解决效果不佳, 国内外学者也做了各种尝试, Ryu等^[2]采用直接对原始的和平滑后的特征点轨迹进行估计和校正运动失量的算法, 实现在线的视频稳定, 特征点的轨迹由特征跟踪算法获得, 此算法鲁棒性好, 且不产生累计运动估计误差; 文献[3]利用改进运动矢量估计法进行稳像, 算法实时性强, 但是没区分前景和背景特征点; Kim等^[4]采用KLT特征跟踪的方法, 利用背景特征点进行稳像, 取得了很好的结果; 朱奇丹等^[5]利用海天线稳像算法解决了船载采集视频的抖动问题; Choi等^[6]采用K均值聚类将局部运动矢量场分类为前景运动和背景运动, 并对背景局部运动矢量取模值提取中间值作为帧间全局运动矢量, 本文在文献[4]的基础上, 研究基于KLT进行特征点跟踪, 并采用MSAC算法获取背景特征点并进行运动矢量估计, 最终通过运动补偿实现稳像。

1 KLT算子

1.1 KLT特征提取

KLT算法^[7]是一种典型的特征点跟踪方法, 这种跟踪主要是利用帧间的连续性信息进行的。KLT特征点提取算法的主要思路是通过检验2× 2对称梯度矩阵δ 的特征值来实现特征窗口的定位, δ 矩阵为:

$\begin{matrix} δ = [\begin{matrix} \begin{matrix} I_{xx} & I_{xy} \end{matrix} \\ \begin{matrix} I_{xy} & I_{yy} \end{matrix} \end{matrix}] \end{matrix}$ (1)

式中:I_xx= $\begin{matrix} \sum_{w} \end{matrix} \begin{matrix} D_{x}^{2} \end{matrix}$ , I_xy= $\begin{matrix} \sum_{w} \end{matrix}$ D_xD_y, I_yy= $\begin{matrix} \sum_{w} \end{matrix} \begin{matrix} D_{y}^{2} \end{matrix}$ , D_x、D_y分别表示图像在x、y方向上的一阶偏导, w为选取的一个较小的希望获得特征点的区域。

特征点的确定可以通过计算δ 的两个特征值λ ₁和λ ₂来确定, λ ₁和λ ₂的计算公式见式(2):

$\begin{matrix} λ_{1, 2} = \frac{I_{xx} + I_{yy} \pm \sqrt[]{(I_{xx} + I_{yy})^{2} - 4 (I_{xx} I_{yy} - I_{xy}^{2})}}{2} \end{matrix}$ (2)

如果λ ₁和λ ₂都很小, 说明图像具有相对恒定的灰度分布; 如果其中一个很小而另一个很大, 说明图像窗口具有不定向的纹理模式; 如果λ ₁和λ ₂都很大, 则代表了角点、椒盐纹理或其他能被可靠跟踪的纹理模式^[7]。因此, 设定阈值T, λ ₁和λ ₂需满足:

$\begin{matrix} \min (λ_{1}, λ_{2}) > T \end{matrix}$ (3)

通常情况下, 阈值T设置为:

$\begin{matrix} T = r λ_{\max}, 0 < r < 1 \end{matrix}$ (4)

式中:λ _max为δ 的最大的特征值, 通过这种方法, 可以从参考帧中选取好的特征点。

1.2 KLT特征匹配

KLT匹配算法采用图像灰度差的平方和作为特征点的匹配准则, 利用基于最优估计的策略进行特征点之间的匹配, 算法相对较简单, 无需搜索, 耗时少, 可以有效地提高电子稳像的实时性。

对于一副灰度图像, 假设一个具有纹理信息的特征窗口w, 采用平移模型来表示特征窗内的像素点之间的变化, 设t时刻对应的一帧图像表示为I(x, y, t), t+τ 时刻对应的图像帧可以表示为I(x, y, t+τ ), 它们的位置满足:

I(x, y, t+τ )=I(x-Δ x, y-Δ y, t+τ ) (5)

在I(x, y, t+τ )的每个像素点, 都可以由I(x, y, t)中的特征窗口w的像素点平移d=(Δ x, Δ y)获得。

KLT算法的最终目的是找到使SSD最小的ε 值。令SSD值用ε 表示, 利用公式(6)求解:

$\begin{matrix} ε = \sum_{x, y \in W} [I (x + d_{x}, y + d_{y}, t + τ) - I {(x, y, t)]}^{2} \end{matrix}$ (6)

当位移矢量很小时, I(x+d_x, y+d_y, t+τ )可由一阶泰勒公式展开:

$\begin{matrix} \begin{matrix} I (x + d_{x}, y + d_{y}, t + τ) \approx \\ I (x, y, t) + \frac{\partial I}{\partial x} d_{x} + \frac{\partial I}{\partial y} d_{y} + \frac{\partial I}{\partial t} d_{t} (7) \end{matrix} \end{matrix}$

或者表示成矩阵形式:

$\begin{matrix} I (x + d_{x}, y + d_{y}, t + τ) \approx I (x, y, t) + g^{T} d + I_{t} τ \end{matrix}$ (8)

式中:

g^T= $\begin{matrix} (\begin{matrix} I_{x} \\ I_{y} \end{matrix}) \end{matrix}$ = $\begin{matrix} (\begin{matrix} \frac{\partial I}{\partial x} \\ \frac{\partial I}{\partial y} \end{matrix}) \end{matrix}$

I_t= $\begin{matrix} \frac{\partial I}{\partial t} \end{matrix}$

所以式(6)等效为:

$\begin{matrix} ε \approx \underset{x, y \in W}{\sum (g^{T} d + I_{t} {τ)}^{2}} \end{matrix}$ (9)

式(8)去掉高次项, 然后对d进行求导, 最终化简得:

$\begin{matrix} Zd = e (10) \end{matrix}$

式中:

Z= $\begin{matrix} [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}] \end{matrix}$

e=-τ $\begin{matrix} \sum_{(x, y) \in W} \end{matrix}$ I_t $\begin{matrix} (\begin{matrix} I_{x} \\ I_{y} \end{matrix}) \end{matrix}$

解方程(10), 即可求得偏移量d。

利用上述KLT匹配算法, 不但可以降低匹配过程中的搜索范围, 减小匹配时间, 而且具有较高的匹配精度。

本文采用KLT提取特征点, 并结合MSAC提取背景特征点。首先定义一些要提取背景特征点所需要的函数。定义由KLT算法在第i帧提取的特征点集合为:P_i={P_i(j)=(x_j, y_j), j=1, 2, …, N}; 定义 $\begin{matrix} {P^{B}}_{i} \end{matrix}$ , $\begin{matrix} {P^{F}}_{i} \end{matrix}$ 分别代表特征点集中的背景特征点子集和前景特征点子集, 它们的关系为:P_i= $\begin{matrix} {P^{B}}_{i} \end{matrix}$ ∪ $\begin{matrix} {P^{F}}_{i} \end{matrix}$ 。KLT算法除了可以获得特征点之外, 还能同时得到匹配的特征点对, 定义为匹配点对集合:

$\begin{matrix} C_{i} = \{c_{i} (j) = P_{i} (j), P_{i + 1} (j), j = 1, 2, \dots, N\} \end{matrix}$ (11)

式中:P_i+₁(j)=Φ (P_i(j)), 为第i帧图像中的特征点, 采用跟踪算法在第i+1帧中获得的匹配点对。利用匹配点对, 就可以获得运动估计参数矩阵M。

在跟踪过程中, 由于前景目标或者相机的运动可能导致有些特征点在几帧之后越来越少, 甚至消失。这时, 这些特征点就会从P_i, P_i+₁中排除掉。这样, 如果在C_i有充足的特征匹配点对, 就可以获得更准确的全局运动估计。如果场景变换剧烈, 引起在参考帧中的特征点找不到相应的匹配点对, 也就是第i帧中的特征点数目小于预先设定的阈值时, 匹配点对也相应减少。这时候, 就会重新选取新的参考帧, 提取好的特征点, 重新定义前景特征点和背景特征点。

2 背景特征点获取

2.1 MSAC

很多文献采用随机抽样一致性RANSAC来进行特征点提纯, 但是当前景物体占有整个图像一大部分时, 这种方法效果不好。本文利用MSAC^{[7, 8, 9]}(M-estimation sample consensus)结合欧式距离进行背景特征点的获取, 并计算准确的运动矢量。MSAC是算法的一种优化变形方法。RANSAC是基于特征匹配的一种典型匹配对提纯算法, 能够较好地进行误匹配点对的剔除, 其消耗函数的计算过程为:

$\begin{matrix} \begin{matrix} C = \overset{n}{\underset{i}{\sum ρ}} (e_{i}^{2}) (12) \\ ρ (e^{2}) = \{\begin{matrix} 0, & e^{2} < T^{2}, inliers \\ k, & e^{2} \geq T^{2}, outliers \end{matrix}, T = 1.96 σ (13) \end{matrix} \end{matrix}$

式中:n为初始匹配集合中所有的匹配点的数目; σ 为当前的匹配点是“ 内点” 的概率, 在实际的应用中依据匹配方法的正确率, 将σ 设置为一个保守值。

MSAC通过修改RANSAC的消耗函数, 从而优化其性能^[11]。MSAC运用回降最优估计方法。对于外点仍然赋予同样的值, 内点要根据适应数据的程度得分, 而不是像RANSAC赋予0值, 成本函数为:

$\begin{matrix} \begin{matrix} C = \overset{n}{\underset{i}{\sum ρ}} (e_{i}^{2}) (14) \\ ρ (e^{2}) = \{\begin{matrix} e^{2}, & e^{2} < T^{2}, inliers \\ T^{2}, & e^{2} \geq T^{2}, outliers \end{matrix}, T = 1.96 σ (15) \end{matrix} \end{matrix}$

文献[12]比较了MSAC和RANSAC算法, MSAC不需要额外的计算消耗。所采用消耗函数本身就可以直接运用最大残余的饱和点和最小二乘法相比, 从而抑制极端异常值的影响。

以6参数仿射变换为例, MSAC算法的步骤是:

(1)从KLT跟踪算法获得的匹配点对C_i={c_i(j)=P_i(j), P_i+₁(j), j=1, 2, …, N}中, 任选3对特征点对, 运用6参数模型计算运动估计参数M的参数;

(2)计算其余K-3个特征点由M矩阵做仿射变换得到的对应匹配点, 与KLT匹配所得到的特征点之间的距离为d(P_i(j)), 计算公式为:

$\begin{matrix} d (P_{i} (j)) = ‖T_{M} (P_{i} (j)) - Φ (P_{i} (j))‖ \end{matrix}$ (16)

式中:T_M(· )是由第一步计算所获得的几何变换矩阵M所得到的特征点, Φ (P_i(j))为KLT跟踪所获得的匹配点对, ‖ · ‖ 为L2范数。

(3)若距离小于某个阈值范围, 则候选特征点为内点, 形成新的集合 $\begin{matrix} C_{i}^{*} \end{matrix}$ ;

(4)重复执行步骤(1)(2)(3)固定的次数;

(5)利用新的匹配点集合 $\begin{matrix} C_{i}^{*} \end{matrix}$ 中的匹配点对, 确定最终的仿射矩阵 $\begin{matrix} \hat{M} \end{matrix}$ 。

2.2 特征点更新

将一副W* H图像I(x, y)分为两个互不重叠的区域, 定义前景区域为R_F, 背景区域为R_B, 它们的关系为:I=R_F∪ R_B。R_F为满足条件下边的像素集合:

$\begin{matrix} \begin{matrix} R_{F} = {I (x, y) = α \cdot W \leq x \leq \\ (1 - α) \cdot W ⋂ α \cdot H \leq x \leq (1 - α) \cdot H} \end{matrix} \end{matrix}$ (17)

式中:0< α < 0.5, 用来决定前景和背景区域的大小。

在下一帧中, 特征点为前景还是背景的分类方法如表1所示。具体更新过程中, 采用两个不同的阈值τ ₁, τ ₂来更新特征点在下一帧中的状态, 从而确定特征点的分类结果。不管下一帧的状态怎样, 当前帧中的特征点不会发生很大程度的变化, 在当前状态上和距离有关的阈值要有选择地选取。也就是说, 对于背景特征点要选择小一些的τ ₁值, 对于前景特征点要选择大一点的τ ₂值。这样, 如果特征点在当前帧准确分类, 那么大多数特征点可以在下一帧保持它的状态。总结来说:式(18)能更好地说明状态分类的情况。

$\begin{matrix} \{\begin{matrix} \begin{matrix} {P^{B}}_{i + 1} (j) = {Φ ({P^{B}}_{i} (j)) | d ({P^{B}}_{i} (j)) < τ_{1}} ⋃ \\ {Φ ({P^{F}}_{i} (j)) | d ({P^{F}}_{i} (j)) < τ_{2}} \end{matrix} \\ \begin{matrix} {P^{F}}_{i + 1} (j) = {Φ ({P^{B}}_{i} (j)) | d ({P^{B}}_{i} (j)) \geq τ_{1}} ⋃ \\ {Φ ({P^{F}}_{i} (j)) | d ({P^{F}}_{i} (j)) \geq τ_{2}} \end{matrix} \end{matrix} \end{matrix}$ (18)

表1 特征点分类示意 Table 1 Schematic of feature points classification

3 算法总结

步骤1 利用KLT算子提取参考帧特征点P_i, 并根据式(14), 设α =0.2, 分别指定背景特征点集 $\begin{matrix} {P^{B}}_{i} \end{matrix}$ 和前景特征点集 $\begin{matrix} {P^{F}}_{i} \end{matrix}$ ;

步骤2 KLT进行匹配, 获得匹配点对集合C_i, 任取 $\begin{matrix} {P^{B}}_{i} \end{matrix}$ 集合中的4对匹配点对, 利用SVD计算运动矢量M;

步骤3 更新特征点:利用式(16)计算欧式距离d, 根据设定的阈值τ ₁, τ ₂的值以及式(18)更新下一帧的特征点 $\begin{matrix} {P^{F}}_{i + 1} \end{matrix}$ , $\begin{matrix} {P^{B}}_{i + 1} \end{matrix}$ ;

步骤4 利用背景特征点 $\begin{matrix} {P^{B}}_{i + 1} \end{matrix}$ , 计算新的、准确变换矩阵M';

步骤5 对变换矩阵组成的矩阵组, 进行Kalman滤波;

步骤6 运动补偿。

4 实验结果

本实验的计算机采用Intel奔腾处理器, CPU主频为2.90 GHz, 内存为4 GB。一个视频为MATLAB库里自带测试视频, 共162帧, 大小为320× 240像素, 另一个视频来自美国空军视频数据库VIRAT^[11], 720× 480像素, 两个视频都具有前景运动物体车辆, 背景也较为复杂, 视频如图1所示。

实验一:背景特征点提取图示

图2为采用KLT提取特征点图示, 没有利用MSAC滤除背景特征点, 即分布在车身上的特征点还很多, 这样必然影响到运动矢量计算的准确度。

	Figure Option View Download New Window
	图1 实验视频Fig.1 Experimental videos

	Figure Option View Download New Window
	图2 KLT提取特征点并匹配Fig.2 Extracting feature points and matching by KLT

图2的右图为运动补偿后的稳定帧, 虽然稳像前和稳定后的补偿帧能完全匹配, 但是匹配点对的连线稍有倾斜, 说明两帧之间含有运动分量^[7]。图3为采用本文算法后, 车身上特征点基本都滤除掉。图3的右图为运动补偿后的稳定帧, 这时稳定帧和原视频帧完全匹配, 且匹配点对的连线为直线, 说明稳像效果很好。

	Figure Option View Download New Window
	图3 只利用背景特征点的匹配情况Fig.3 Matched with only the background feature points

实验二:稳像结果

本文利用稳像前和稳像后的视频对应帧进行对比, 并将本文算法和MATLAB自带的基于特征点进行稳像的算法(简称方法1)进行了对比, 效果如图4和图5所示。方法1中稳像后序列的“ 无定义区” 范围较大, 且只处理灰度图像, 本文算法“ 无定义区” 明显小很多, 且根据红色直线标记, 利用本文所提出算法取得了较好的稳像效果。

实验三:效果评价

常见评价方法为PSNR^{[12, 13]}法, 在其基础上, 定义DITF为稳像后相邻帧PSNR的绝对差。此方法适合于动态背景下视频稳像结果的评估^{[14, 15, 16, 17]}, DITF计算式如(19)所示。DITF越小, 稳像效果越明显。

$\begin{matrix} DITF (i) = |PSNR (i + 1) - PSNR (i)| \end{matrix}$ (19)

	Figure Option View Download New Window
	图4 视频1稳像结果Fig.4 Image stabilization results of video 1

	Figure Option View Download New Window
	图5 视频2稳像结果Fig.5 Image stabilization results of video 2

DITF是稳定效果评价的方法之一, 本文比较稳像前、后方法1和本文方法的平均DITF结果, 如表2所示, 本文方法的DITF值最小, 说明稳像后视频更平滑。

表2 平均DITF对比 Table 2 Comparision of mean DITF

5 结束语

针对特征点在前景运动物体上会严重影响运行矢量的准确性的问题, 本文提出利用特征点分类的方法, 通过计算KLT跟踪特征点, 计算运动估计所得匹配点跟踪所得特征点之间的距离, 由MSAC算法不断更新前景特征点和背景特征点集, 最后只采用背景上的特征点进行全局运动估计, 从而进行稳像。本文算法与方法1的稳像算法平均DITF对比结果表明, 本文方法的稳像后视频平滑度更高, 而且本文算法的无定义区域明显减少, 更利于人眼视觉感受。

The authors have declared that no competing interests exist.

参考文献

View Option

[1]	吉淑娇, 朱明, 胡汉平. 基于特征点匹配的电子稳像算法综述[J]. 中国光学, 2013, 6(6): 841-849. Ji Shu-jiao, Zhu Ming, Hu Han-ping. Aero-borne electronic image stabilization based on feature point matching[J]. Chinese Optics, 2013, 6(6): 841-849. [本文引用:1]
[2]	Ryu Y G, Chung M J. Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation[J]. IEEE Signal Processing Letters, 2012, 19(4): 223-226. [本文引用:1]
[3]	吉淑娇, 朱明, 雷艳敏, 等. 基于改进运动矢量估计法的视频稳像[J]. 光学精密工程, 2015, 23(5): 254-261. Ji Shu-jiao, Zhu Ming, et al. Lei Yan-min. Video stabilization with improved motion vector estimation[J]. Opt Precision Eng, 2015, 23(5): 254-261. [本文引用:1]
[4]	Kim S K, Kang S J, Wang T S, et al. Feature point classification based global motion estimation for video stabilization[J]. IEEE Transactions on Consumer Electronics, 2013(3): 267-272. [本文引用:1]
[5]	朱齐丹, 徐从营, 蔡成涛. 船载这反射全景试卷系统电子稳像算法[J]. 吉林大学学报: 工学版, 2015, 45(4): 1288-1296. Zhu Qi-dan, Xu Cong-ying, Cai Cheng-tao. Electronic image stabilization algorithm for on board catadioptric omnidirectional vision system[J]. Journal of Jilin University(Engineering and Technology Edition), 2015, 45(4): 1288-1296. [本文引用:1]
[6]	Choi K S, Lee J S, Kim J W, et a1. An efficient digital image stabilizing technique for mobile video ommunications[C]∥International Conference on Consumer Electronics, Berlin, 2000: 246-247. [本文引用:1]
[7]	吉淑娇. 基于特征匹配的机载电子稳像技术研究[D]. 长春: 中国科学院大学长春光学精密机械与物理研究所, 2015. Ji Shu-Jiao. Airborne electronic image stabilization technology based on feature points[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics, University of Chinese Academy of Sciences, 2015. [本文引用:4]
[8]	Torr P, Murray D. The development and comparison of robust methods for estimating the fundamental matrix[J]. International Journal of Computer Vision, 1997, 24(3): 271-300. [本文引用:1]
[9]	Torr P H S, Zisserman A. Robust computation and parametrization of multiple view relations[C]∥International Conference of Computer Vision, Bombay, 1998: 727-732. [本文引用:1]
[10]	Torr P H S, Zisserman A. MLESAC: a new robust estimator with application to estimating image geometry[J]. Computer Vision and Image Understand ing, 2000, 78(1): 138-156. [本文引用:1]
[11]	Wang H, Gregory D M, Hager D. A generalized kernel consensus based robust estimator[J]. IEEE Transactions on Analysis and Machine Intelligence, 2010, 32(1): 178-184. [本文引用:2]
[12]	Subbarao R, Meer P. Beyond RANSAC: user independent robust regression[C]∥Conference on Computer Vision and Pattern Recognition Workshop, New York, 2006: 101-108. [本文引用:1]
[13]	Ji Shu-jiao, Zhu Ming, Lei Yan-min. Video stabilization algorithm based on background feature points matching[C]∥International Conference on Sensors Measurement and Intelligent Materials, Shanghai, China, 2015: 690-693. [本文引用:1]
[14]	严洁, 阮友田, 薛珮瑶. 主被动光学图像融合技术研究[J]. 中国光学, 2015, 8(3): 378-385. Yan Jie, Ruan You-tian, Xue Pei-yao. Active and passive optical image fusion technology[J]. Chinese Optics, 2015, 8(3): 378-385. [本文引用:1]
[15]	孙寿健, 魏立线, 刘佳, 等. 一种基于权重融合的JPEG隐写分析方法[J]. 液晶与显示, 2015, 30(2): 326-332. Sun Shou-jian, Wei Li-xian, Liu Jia, et al. A rights-based re-integration method for JPEG steganalysis[J]. Chinese Journal of Liquid Crystal and Displays, 2015, 30(2): 326-332. [本文引用:1]
[16]	朴永杰, 徐伟, 王绍举, 等. 高动态范围视频的多曝光图像序列快速融合[J]. 液晶与显示, 2014, 29(6): 1032-1041. Piao Yong-jie, Xu Wei, Wang Shao-ju, et al. Fast multi-exposure image fusion for HDR video[J]. Chinese Journal of Liquid Crystal and Displays, 2014, 29(6): 1032-1041. [本文引用:1]
[17]	柯洪昌, 孙宏彬, . 图像序列的显著性目标区域检测方法[J]. 中国光学, 2015, 8(5): 768-774. Ke Hong-chang, Sun Hong-bin. A saliency target area detection method of image sequence[J]. Chinese Optics, 2015, 8(5): 768-774. [本文引用:1]

2013

0.0

. 2013, 6(6):841-849 DOI:10.3788/CO.20130606.841

Aero-borne electronic image stabilization based on feature point matching

基于特征点匹配的电子稳像算法综述

Ji Shu-jiao , Zhu Ming , Hu Han-ping.

吉淑娇, 朱明, 胡汉平

1. Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China; 2. School of Electronic and Information Engineering, Changchun University, Changchun 130022, China

Electronic Image Stabilization(EIS) technology usually is employed to remove the random jitter generated by the imaging equipment and to stabilize its video output. Firstly, the development status of EIS is introduced. Then the motion estimation module is studied in details, which is one of the most important modules of EIS. Both the direction motion estimation algorithms and the feature-points-based matching algorithms are discussed. Furthermore, the motion correction and compensation algorithm are presented. Finally, according to the difficulties and the future trends of the EIS, the developing direction for feature matching algorithms of EIS is proposed.

为获得高质量视频输出序列，电子稳像技术常被用来去除成像设备所摄取的图像序列中的随机抖动。本文首先介绍了电子稳像的国内外发展现状。然后，从电子稳像技术中的运动估计模块出发，描述了国内外近年来出现的直接求取运动估计算法以及各种基于特征点匹配的运动估计方法，并对运动校正和运动补偿模块的算法进行了评述。最后综合分析了稳像算法的难点以及未来发展趋势，提出基于特征匹配的电子稳像技术的发展方向。

... 在运动背景下进行视频稳像,难点在于如何有效消除前景运动物体带来的影响^[1] ...

2012

0.0

... 在提取特征点算法中,特征点会落到运动前景物体上,这种情况会给全局估计带来误差,很多文献采用RANSAC算法进行特征点提纯,但解决效果不佳,国内外学者也做了各种尝试,Ryu等^[2]采用直接对原始的和平滑后的特征点轨迹进行估计和校正运动失量的算法,实现在线的视频稳定,特征点的轨迹由特征跟踪算法获得,此算法鲁棒性好,且不产生累计运动估计误差 ...

2015

0.0

. 2015, 23(5):254-261 DOI:doi:10.3788/OPE.20152305.1458

Video stabilization with improved motion vector estimation

基于改进运动矢量估计法的视频稳像

Ji Shu-jiao , Zhu Ming

吉淑娇, 朱明, 雷艳敏

提出用改进的运动矢量估计方法对视频序列进行运动补偿,以有效去除机载成像设备摄取视频序列的帧间抖动,实现电子稳像.介绍了BRISK算子提取特征的模型和算子描述方式,利用BRISK算子提取相邻帧的稳定特征点并进行匹配,结合参数仿射变换模型实现帧间运动矢量粗估计.为了提高运动矢量估计的精度,引入粒子滤波解决因特征点景深不同引起的运动矢量估计失准的问题,继而采用加权最小二乘法改进运动矢量估计.最后采用卡尔曼滤波从全局运动矢量里分离出运动补偿分量,对视频序列进行逐帧补偿.实验表明,视频序列稳像后的帧间变换保真度值提高了近3 db,显示提出的的稳像算法可以处理复杂运动下视频的帧间抖动,且快速准确并具有一定的鲁棒性.

0.0

... Kim等^[4]采用KLT特征跟踪的方法,利用背景特征点进行稳像,取得了很好的结果 ...

2015

0.0

. 2015, 45(4):1288-1296 DOI:10.13229/j.cnki.jdxbgxb201504038

Electronic image stabilization algorithm for on board catadioptric omnidirectional vision system

船载这反射全景试卷系统电子稳像算法

Zhu Qi-dan , Xu Cong-ying , Cai Cheng-tao.

朱齐丹, 徐从营, 蔡成涛

College of Automation, Harbin Engineering University, Harbin 150001,China

An electronic image stabilization algorithm based on sea-sky line was presented to solve the slosh problem in the video acquired from the on board catadioptric omnidirectional vision system. Combing with the characteristics of sea-sky line in omnidirectional image, a feasible method based on optimal edge estimation was proposed to get the sea-sky line elliptic equation. The omnidirectional image stabilization model is built based on sea-sky line. The application of the sea-sky line image stabilization algorithm is introduced and the method of reconstructing the invalidated regions using sky frame is given. The actual test was carried out using sequential panoramic images, which were obtained in marine environment. Experimental results show that the proposed algorithm is fast and effective to solve video image stabilization for on board catadioptric omnidirectional vision system. The average computation time is less than 50 ms/frame, which has good application effect.

为解决船载全景视觉系统在视频采集过程中的图像晃动问题,提出了一种基于海天线的电子稳像算法。根据全景图像中海天线成像特点,提出了一种最优边缘估计算法计算海天线成像椭圆方程。建立了基于海天线的全景图像稳像模型,介绍了海天线稳像算法的实现,并给出了使用关键帧对稳像无效区域的重建方法。使用实际海洋环境下拍摄的海上全景图像序列进行了验证分析,实验结果表明:该算法对船载全景视觉系统采集的视频图像稳像快速、有效,平均计算时间小于50 ms,实际应用效果良好。

... 朱奇丹等^[5]利用海天线稳像算法解决了船载采集视频的抖动问题 ...

2000

0.0

... Choi等^[6]采用K均值聚类将局部运动矢量场分类为前景运动和背景运动,并对背景局部运动矢量取模值提取中间值作为帧间全局运动矢量,本文在文献[4]的基础上,研究基于KLT进行特征点跟踪,并采用MSAC算法获取背景特征点并进行运动矢量估计,最终通过运动补偿实现稳像 ...

2015

0.0

. 2015, :-

Airborne electronic image stabilization technology based on feature points[D].Changchun:Changchun Institute of Optics, Fine Mechanics and Physics,

基于特征匹配的机载电子稳像技术研究[D]

Ji Shu-Jiao.

吉淑娇

随着摄像系统在军用侦查系统，无人车辆导航系统以及航空测量系统，民用监控系统中的广泛应用，人们对所拍摄的视频序列的画面要求清晰稳定。然而由于上述诸多摄像设备或因所处工作环境恶劣，或因设备不稳定等会存在不确定的抖动和振动，使所采集的视频视觉效果变差，视频序列的质量有所下降，从而引起观察者的视觉疲劳，更增强了后续图像处理算法的难度。因此有必要采用电子稳像方法，去除或减少不规则的随机抖动，增强视频的质量。本论文以机载的航拍视频为研究对象，采用基于特征匹配的稳像技术对视频稳像。主要研究内容可归纳总结如下：首先研究了电子稳像的背景、国内外发展现状以及机载稳像的关键技术和稳像评价方法；接着研究电子稳像系统的各主要环节包括运动估计、运动滤波以及运动补偿等环节的已有的算法，对各种算法进行分析比较；结合机载稳像系统的关键问题，提出了本文的创新算法，并通过实验对算法进行了有效性验证。为了提高稳像过程运动矢量的计算速度，采用基于兴趣区的特征点匹配进行稳像。首先选取图像的兴趣区(ROI)并在其内进行特征点检测，接着将兴趣区内的特征点稀疏化，并在相邻帧的特征窗内利用SAD准则寻找匹配点对，最后利用LMeds准则剔除误匹配点并求解出全局运动矢量，再利用Kalman滤波及逐帧运动补偿。虽然算法采用基础传统的稳像算法，但是在诸多环节进行了改正和创新，比如特征点稀疏化过程，运动滤波部分等；通过实验结果，验证了算法的有效性和鲁棒性；为了实时有效地去除机载成像设备所摄取视频序列的帧间抖动，采用基于二进制算子的特征匹配和加权最小二乘的粒子滤波的方法对视频序列进行稳像。首先利用BRISK算子提取相邻帧的稳定特征点，采用FREAK描述子对特征点进行描述并匹配，进而结合运动模型获取帧间粗运动矢量估计。最后引入粒子滤波解决因特征点景深不同引起的全局运动矢量计算不准确的问题，获得粒子权重后，采用加权最小二乘获得准确的全局运动矢量，该算法不仅提高了运动估计的速度，还有效地保证了运动估计的精度；为了去除前景运动物体对稳像精度的影响，提出基于特征点分类的方法，将特征点分为前景特征点和背景特征点。首先通过KLT跟踪特征点，结合MSAC算法计算由初始运动估计所得匹配点和通过跟踪所得特征点之间的距离，然后根据阈值不断更新前景特征点集和背景特征点集，最后只采用背景上的特征点进行全局运动估计，有效的提高了含有复杂背景的运动视频的稳像效果。

... 1 KLT特征提取KLT算法^[7]是一种典型的特征点跟踪方法,这种跟踪主要是利用帧间的连续性信息进行的 ...

... ₂都很大,则代表了角点、椒盐纹理或其他能被可靠跟踪的纹理模式^[7] ...

... 本文利用MSAC^[7,8,9](M-estimation sample consensus)结合欧式距离进行背景特征点的获取,并计算准确的运动矢量 ...

... 图2的右图为运动补偿后的稳定帧,虽然稳像前和稳定后的补偿帧能完全匹配,但是匹配点对的连线稍有倾斜,说明两帧之间含有运动分量^[7] ...

1997

0.0

... 本文利用MSAC^[7,8,9](M-estimation sample consensus)结合欧式距离进行背景特征点的获取,并计算准确的运动矢量 ...

1998

0.0

... 本文利用MSAC^[7,8,9](M-estimation sample consensus)结合欧式距离进行背景特征点的获取,并计算准确的运动矢量 ...

2000

0.0

2010

0.0

... MSAC通过修改RANSAC的消耗函数,从而优化其性能^[11] ...

... 240像素,另一个视频来自美国空军视频数据库VIRAT^[11],720#cod#x000D7 ...

2006

0.0

... 常见评价方法为PSNR^[12,13]法,在其基础上,定义DITF为稳像后相邻帧PSNR的绝对差 ...

2015

0.0

... 常见评价方法为PSNR^[12,13]法,在其基础上,定义DITF为稳像后相邻帧PSNR的绝对差 ...

2015

0.0

. 2015, 8(3):378-385 DOI:doi:10.3788/CO.20150803.0378

Active and passive optical image fusion technology

主被动光学图像融合技术研究

Yan Jie , Ruan You-tian , Xue Pei-yao.

严洁, 阮友田, 薛珮瑶

摘　要：本文应用扫描式激光成像雷达获取试验数据并实现对激光数据的三维成像处理,给出了基于目标特征的激光雷达图像与被动光学图像的数据融合方法,实现了激光图像和光学图像间的三维融合。试验结果表明,本文所提出的基于目标特征的两种不同质图像间的融合方法是可行的,融合后的图像具有丰富的光谱信息和三维立体信息。

... 此方法适合于动态背景下视频稳像结果的评估^{[14,15,16,17]},DITF计算式如(19)所示 ...

2015

0.0

. 2015, 30(2):326-332 DOI:doi:10.3788/YJYXS20153002.0326

A rights-based re-integration method for JPEG steganalysis

一种基于权重融合的JPEG隐写分析方法

Sun Shou-jian , Wei Li-xian , Liu Jia

孙寿健, 魏立线, 刘佳

针对JPEG图像通用隐写检测中检测效率低、训练时间长的问题,提出一种基于集成分类器的新检测方法。算法以CC-PEV为特征对图像进行描述并作为隐写分析特征;然后,随机构造若干个特征子空间,用bootstrap方法构造图像训练子集,分别进行训练得到数个基分类器;根据基分类器的分类结果赋予基分类器不同的权重,将基分类器的结果按照其权重进行融合得到最终的结果。本文对该算法进行了测试,对它的集成性、检测准确率和训练时间进行分析。实验结果表明,相对于传统的集成方法,本文方法用自举方法构造训练集、随机方法构造子特征空间、赋予基分类器不同权重进行融合能够显著地提高算法准确率。本文方法相对于SVM和传统的集成分类方法,具有更高的检测率,对于特征维数更大的图像检测,具有更好的拓展性和一般适用性。

... 此方法适合于动态背景下视频稳像结果的评估^{[14,15,16,17]},DITF计算式如(19)所示 ...

2014

0.0

. 2014, 29(6):1032-1041 DOI:doi:10.3788/YJYXS20142906.1032

Fast multi-exposure image fusion for HDR video

高动态范围视频的多曝光图像序列快速融合

Piao Yong-jie , Xu Wei , Wang Shao-ju

朴永杰, 徐伟, 王绍举

Fast fusion of multiple low dynamic range(LDR) images is essential for the real-time performance of a high dynamic range(HDR) video acquisition system using multi-exposure method. This paper proposed an improved fusion algorithm based on multi-resolution pyramid decompose. The algorithm dramatically reduces computing complexity while preserving the fusion quality of the original method. The proposed method improves the real-time performance in the following aspects: pyramid decompose convolution core, Gaussian coefficients expansion method, Laplacian coefficients fusion rule, Gaussian coefficients fusion rule. The computing complexity of pyramid decomposes, fusion, and reconstruction is reduced. Experiment results shows that the proposed method is stable and got good fusion results. The method is applied to a launch vehicle observation system. The computing speed is boosted 10 times and it takes 8.9 ms to fuse one 512×512 frame on TM320MD642 DSP, fulfilling the real-time requirement of 25 fps HDR video acquisition system.

使用多次曝光法进行高动态范围视频获取时，需要将多幅低动态范围（LDR）图像进行快速融合，并满足视频融合系统的实时性要求。本文提出了一种改进的快速多分辨率塔形分解融合算法，在不降低原有算法融合质量的前提下极大减少计算量。算法分别从金字塔分解卷积核、高斯系数扩展插值方法、拉普拉斯系数融合规则、高斯系数融合规则等方面进行改进，简化了塔形分解、融合和重构过程。该方法应用在某运载火箭视频采集系统中，实验结果表明，该改进算法稳定性强，融合质量高，并极大地减少了计算量，运算速度提高了10倍以上，在TMS320DM642 DSP上一帧512×512图像的融合时间约为8.9 ms，满足25 fps高动态范围视频融合的实时性要求。

... 此方法适合于动态背景下视频稳像结果的评估^{[14,15,16,17]},DITF计算式如(19)所示 ...

2015

0.0

. 2015, 8(5):768-774 DOI:doi:10.3788/CO.20150805.0768

A saliency target area detection method of image sequence

图像序列的显著性目标区域检测方法

Ke Hong-chang , Sun Hong-bin.

柯洪昌, 孙宏彬

摘　要：针对传统视觉显著性模型在自顶向下的任务指导和动态信息处理方面的不足,设计并实现了融入运动特征的视觉显著性模型。利用该模型提取了图像的静态特征和动态特征,静态特征的提取在图像的亮度、颜色和方向通道进行,运动特征的提取采用基于多尺度差分的特征提取方法实现,然后各通道分别通过滤波、差分得到显著图,在生成全局显著图时,提出多通道参数估计方法,计算图像感兴趣区域与眼动感兴趣区域的相似度,从而可在图像上准确定位目标位置。针对20组视频图像序列（每组50帧）进行了实验,结果表明：本文算法提取注意焦点即目标区域的平均相似度为0.87,使用本文算法能够根据不同任务情境,选择各特征通道的权重参数,从而可有效提高目标搜索的效率。

... 此方法适合于动态背景下视频稳像结果的评估^{[14,15,16,17]},DITF计算式如(19)所示 ...