遮挡环境下多示例学习分块目标跟踪

引用本文

才华, 陈广秋, 刘广文, 程帅, 于化东. 遮挡环境下多示例学习分块目标跟踪. 2017, 47(1): 281-287
CAI Hua, CHEN Guang-qiu, LIU Guang-wen, CHENG Shuai, YU Hua-dong. Novelty fragments-based target tracking with multiple instance learning under occlusions. Journal of Jilin University Engineering and Technology Edition, 2017, 47(1): 281-287 复制到剪切板

Permissions

遮挡环境下多示例学习分块目标跟踪

才华¹, 陈广秋¹, 刘广文¹, 程帅¹, 于化东²

1.长春理工大学电子信息工程学院,长春 130022

2.长春理工大学机电工程学院,长春 130022

通讯作者:陈广秋(1977-),男,副教授,博士.研究方向:图像(序列)配准与融合.E-mail:guangqiu_chen@126.com

作者简介:才华(1977-),男,副教授,博士.研究方向:图像处理与机器视觉.E-mail:caihua@cust.edu.cn

基金:吉林省科技发展计划项目(20130101179JC); 教育部留学基金委留学归国人员科研启动基金(教外师留1685).

摘要

针对跟踪过程中遮挡导致错误累积而产生目标漂移甚至目标丢失的问题,提出多示例学习分块目标跟踪方法。该方法以随机蕨为基础检测器,通过多示例学习在线更新检测器,提高检测器对目标变化的适应能力及学习的准确性。将目标均匀分成多个子块,选取部分子块作为候选集合,每个候选块分配一个检测器,利用检测器完成每个候选块的跟踪,根据候选块的信息确定目标最终位置。实时检测候选块的有效性,替换无效的候选块,提高跟踪的鲁棒性。在目标被遮挡等复杂条件下,与目前主流跟踪算法进行了对比实验,结果表明该算法能够有效解决目标漂移甚至跟踪丢失问题,具有更高的跟踪精确度及更好的鲁棒性。

关键词: 信息处理技术; 随机蕨分类器; 多示例学习; 分块; 无效子块更换

中图分类号:TP391.41 文献标志码:A 文章编号:1671-5497(2017)01-0281-07

Novelty fragments-based target tracking with multiple instance learning under occlusions

CAI Hua¹, CHEN Guang-qiu¹, LIU Guang-wen¹, CHENG Shuai¹, YU Hua-dong²

1.School of Electronic and Information Engineering, Changchun University of Science and Technology, Changchun 130022,China

2.College of Mechanical and Electric Engineering, Changchun University of Science and Technology, Changchun 130022,China

Abstract

To solve the problem that tracking algorithm may lead to drift or failure due to the accumulated error under the occlusion environment, a Multiple instance learning based Fragment Tracker (MFT) is proposed. In this MFT, the random ferns is used as the basic detector. To improve the adaption of the target change and the precision of the learning, the multiple instance learning is introduced to online update the detector. The object is segmented into fragments and parts of them are selected as the candidate set. The candidate block is tracked by the corresponding detector. The object can be finally located by the selected blocks. A real-time valid detection is made for the candidate blocks and the invalid block is replaced with an appropriate block to improve the robustness of the tracking. Experiments on variant challenging image sequence in the occlusion environment were carried out. Results show that, compared with the state-of-art trackers, the proposed MFT solves the problem of target drift and failure efficiently and has higher accuracy and better robust.

Keyword: information processing; random ferns detector; multiple instance learning; fragment; invalid block replacement

Show Figures

0 引言

如何有效处理遮挡是评价跟踪算法鲁棒性的关键指标^{[1, 2]}。遮挡是目标跟踪过程中常见的情况, 包括目标自身自遮挡和被背景中的物体遮挡, 从目标自身角度看, 可分为部分遮挡或全部遮挡^[3]。进入遮挡时, 目标的信息逐渐丢失, 如颜色、轮廓、运动和特征点等, 而出遮挡时, 这些信息又逐渐恢复。文献^[4]采用预测模型的方法如粒子滤波, 对遮挡目标的位置进行预测, 此类算法对目标长时间全部遮挡后, 再出现在视场中无法重新定位。基于遮挡检测的跟踪算法^{[5, 6, 7, 8]}可有效处理目标被部分遮挡的情况, 但目标被全部遮挡或者消失后再次出现在视场中的情况, 此类算法不能实现准确的定位及跟踪。检测-跟踪算法^{[9, 10, 11, 12]}将跟踪与检测相结合, 此类算法可有效处理目标全部遮挡后再出现在视场中, 可准确定位。但目标被部分遮挡时, 此类算法常发生目标漂移。基于子块法^{[13, 14]}可有效处理部分遮挡问题, 将目标划分为多个小块, 根据部分子块信息确定目标的中心坐标以达到跟踪的目的。此类算法没有对子块信息进行更新及有效性检测, 导致不能满足目标本身和外界条件的实时变化, 利用无效子块对目标位置定位导致目标漂移问题, 同时目标全部遮挡后再出现在视场中不能准确地跟踪。

为解决跟踪过程中部分遮挡产生目标漂移及目标全部遮挡再次出现视场中无法正确跟踪的问题, 本文提出一种多示例学习分块目标跟踪(MFT)方法, 该方法采用随机蕨作为基础检测器, 结合全局多尺度扫面窗口, 实现目标全部遮挡后重新出现在视场中的准确定位。为保证检测器对目标变化的适应能力及学习的准确性, 避免目标漂移而导致跟踪失败, 通过多示例学习在线更新随机蕨分类器。为解决部分遮挡问题, 将目标分块处理, 从中选取部分子块作为候选块, 同时每个候选块分配一个检测器, 利用检测器对每个候选块进行跟踪, 根据候选块信息确定目标最终位置。实时检测候选块的有效性, 利用有效的候选块实时替换和更新无效的候选块, 从而在目标受到部分遮挡时, 利用有效信息实现目标的准确跟踪。

1 多示例学习分块目标跟踪

1.1 随机蕨分类器及其在线更新

采用具有实时检测能力的随机蕨构建检测器, 并结合多尺度滑动窗口^[15]完成当前帧目标的检测, 解决目标被遮挡或消失后再次出现在视场中不能稳定跟踪问题。通过最近邻算法将检测器得到的图像块与在线模板匹配, 将符合要求图像块作为最后的跟踪结果, 同时在线更新模板库, 以适应目标自身及外界环境变化。采用通过多示例学习在线更新随机蕨检测器, 以保证检测器对目标变化的适应能力及学习的准确性, 避免漂移而导致跟踪失败。

多示例学习算法^[16]对多示例包进行标注, 包中至少含有一个正示例, 则包为正样本, 反之为负样本。训练集为 $\begin{matrix} \{(X_{1}, y_{1}), \dots, (X_{n}, y_{n})}, \end{matrix}$ 其中 $\begin{matrix} X_{i} = {x_{i 1}, \dots, x_{im}}, y_{i} \in {0, 1} \end{matrix}$ 为包的标签。样本包标签定义为:

$\begin{matrix} y_{i} = \max_{j} (y_{ij}) \end{matrix}$ (1)

式中: $\begin{matrix} y_{ij} \end{matrix}$ 为示例标签。

通过采用boosting方法训练分类器, 使用示例似然概率 $\begin{matrix} p (y_{i} | x_{ij}) \end{matrix}$ 的Noisy-OR模型计算包的似然概率 $\begin{matrix} p (y_{i} | X_{i}) : \end{matrix}$

$\begin{matrix} p (y_{i} | X_{i}) = 1 - \prod_{j} (1 - p (y_{i} | x_{ij})) \end{matrix}$ (2)

各示例的似然概率计算公式为:

$\begin{matrix} p (y | x) = σ (H (x)) \end{matrix}$ (3)

式中: $\begin{matrix} σ (x) = \frac{1}{1 + e^{- x}}; H (x) \end{matrix}$ 为强分类器, H(x)= $\begin{matrix} \overset{K}{\sum_{k = 1}} \end{matrix}$ α _kh_k(x), $\begin{matrix} α_{k} \end{matrix}$ 为权值, $\begin{matrix} h_{k} (x) \end{matrix}$ 为弱分类器。

随机蕨检测器检测到被跟踪的目标, 并对目标图像扭曲、旋转、缩放建立完整的目标全视角数据库, 以此作为正样本, 选取目标周围的背景区域作为负样本。算法1为多示例学习在线更新过程, 为保证跟踪实时性及准确性, 多示例学习将随机蕨中的每一个蕨看作弱分类器h, 在线构建一个含有M个弱分类器池, 利用训练数据更新所有的弱分类器h, 从中选取最优的K个弱分类器构建强分类器, 即:

$\begin{matrix} h_{k} = \underset{h \in \{h_{1}, \dots, h_{m}\}}{argmax} L (H_{k - 1} + h) \end{matrix}$ (4)

式中: $\begin{matrix} L = \sum_{i} (logp (y_{i} | X_{i})) 。 \end{matrix}$

算法1 多示例学习在线更新

输入:数据集 $\begin{matrix} {\{X_{i}, y_{i}\}}_{i = 1}^{N} \end{matrix}$ , X_i= $\begin{matrix} \{x_{i 1}, x_{i 2}, \dots, x_{iS}\} \end{matrix}$ ,

y_i∈ {0, 1}, 使用数据集更新M个弱分类器,

初始化H_ij=0, i=1, 2, …, N, j=1, 2, …, S

for k=1 to K do

for m= 1 to M do

$\begin{matrix} p_{ij}^{m} \end{matrix}$ =σ (H_ij+h_m(x_ij))

$\begin{matrix} p_{i}^{m} \end{matrix}$ =1- $\begin{matrix} \prod_{j} \end{matrix}$ (1- $\begin{matrix} p_{ij}^{m} \end{matrix}$ )

L^m= $\begin{matrix} \sum_{i} \end{matrix}$ (y_ilog( $\begin{matrix} p_{i}^{m} \end{matrix}$ )+(1-y)log(1- $\begin{matrix} p_{i}^{m} \end{matrix}$ ))

end for

m^*=argmax L^m

h_k(x)← $\begin{matrix} h_{m^{*}} \end{matrix}$ (x)

H_ij=H_ij+h_k(x)

end for

输出:分类器H(x)=∑ α _kh_k(x), 其中, p(y|x)=σ (H(x))

1.2 目标分块、定位及无效候选块更新

将目标均匀分割为K个子块, 图1为分割结果图。均匀分割后, 得到包含K个子块的集合P={p₁, p₂, …, p_K}, 试验中K=8。计算每个滑动窗口f_j 和p_i 之间特征向量的相似度S_ij, 得到最大相似度ML_i=max(S_ij)。选取M(M< K)个ML_i值较大的子块构成候选块集合SP={sp₁, sp₂, …, sp_M}, 试验中M=4。

	Figure Option View Download New Window
	图1 分割结果图Fig.1 Segmentation of object

目标及候选块表示为:在第 $\begin{matrix} t 帧, O^{t} = (X^{t}, Y^{t}, W^{t}, H^{t}) \end{matrix}$ 代表目标, 其中, $\begin{matrix} X^{t} 、 Y^{t} \end{matrix}$ 为中心坐标, $\begin{matrix} W^{t} 、 H^{t} \end{matrix}$ 为目标的高和宽。 $\begin{matrix} s p_{k}^{t} = (x_{k}^{t}, y_{k}^{t}, w_{k}^{t}, h_{k}^{t}) 为第 k \end{matrix}$ 个候选块, 其中, $\begin{matrix} (x_{k}^{t}, y_{k}^{t}) \end{matrix}$ 为中心坐标, $\begin{matrix} (w_{k}^{t}, h_{k}^{t}) \end{matrix}$ 为候选块的高和宽。 $\begin{matrix} z_{k}^{t} = (o x_{k}^{t}, o y_{k}^{t}, r w_{k}^{t}, r h_{k}^{t}) \end{matrix}$ 为第k个候选块和目标之间的偏移量, 其中, $\begin{matrix} (o x_{k}^{t}, o y_{k}^{t}) \end{matrix}$ 为偏移量的中心坐标, $\begin{matrix} r w_{k}^{t} \end{matrix}$ 为第k个候选块高与目标高之间的比值, $\begin{matrix} r h_{k}^{t} \end{matrix}$ 为两者之间宽的比值, $\begin{matrix} z_{k}^{t} \end{matrix}$ 的计算公式为:

$\begin{matrix} \{\begin{matrix} o x_{k}^{t} = X^{t} - x_{k}^{t}, o r_{k}^{t} = Y^{t} - y_{k}^{t} \\ r w_{k}^{t} = \frac{W^{t}}{w_{k}^{t}}, r h_{k}^{t} = \frac{H^{t}}{h_{k}^{t}} \end{matrix} \end{matrix}$ (5)

图2为目标最终位置确定过程。具体过程如下所示。

首先, 在第一帧手动选择被跟踪目标, 对目标分割并选择候选块, 计算 $\begin{matrix} O^{1}, s p_{k}^{1}, z_{k}^{1}, k = 1, 2, 3, 4 。 \end{matrix}$

其次, 在第t帧, 每个候选块对应一个检测器, 完成候选块的跟踪, 得到 $\begin{matrix} s p_{k}^{t} \end{matrix}$ 在t+1帧的跟踪结果 $\begin{matrix} s p_{k}^{t + 1} = (x_{k}^{t + 1}, y_{k}^{t + 1}, w_{k}^{t + 1}, h_{k}^{t + 1}), \end{matrix}$ 黄色、红色、蓝色、绿色的实线区域分别为候选块 $\begin{matrix} s p_{1}^{t + 1} 、 s p_{2}^{t + 1} 、 s p_{3}^{t + 1} 、 s p_{4}^{t + 1} \end{matrix}$ 。对应目标子块 $\begin{matrix} {O_{k}}^{t + 1} = ({X_{k}}^{t + 1}, {Y_{k}}^{t + 1}, {W_{k}}^{t + 1}, {H_{k}}^{t + 1}) \end{matrix}$ 计算公式为:

$\{\begin{matrix} {X_{k}}^{t + 1} = x_{k}^{t + 1} + o x_{k}^{t + 1}, {Y_{k}}^{t + 1} = y_{k}^{t + 1} + o y_{k}^{t} \\ {W_{k}}^{t + 1} = w_{k}^{t + 1} \cdot r w_{k}^{t}, {H_{k}}^{t + 1} = h_{k}^{t + 1} \cdot r h_{k}^{t} \end{matrix}$ (6)

虚线区域为对应的跟踪结果 $\begin{matrix} O_{1}^{t + 1} 、 O_{2}^{t + 1} 、 O_{3}^{t + 1} 、 O_{4}^{t + 1} 。 \end{matrix}$ 目标最终位置(黑色加粗实线)计算公式为:

$\begin{matrix} O^{t + 1} = \overset{M}{\sum_{i = 1}} w_{i} O_{i}^{t + 1} \end{matrix}$ (7)

式中: $\begin{matrix} M \end{matrix}$ 为候选块个数。

权值 $\begin{matrix} w_{i} \end{matrix}$ 计算公式为:

$\begin{matrix} w_{i} = aexp (- |l^{t} (x, y) - l_{i}^{t + 1} (x, y)|) \end{matrix}$ (8)

式中: $\begin{matrix} l^{t} (x, y) \end{matrix}$ 为t时刻目标的中心坐标; $\begin{matrix} l_{i}^{t + 1} (x, y) \end{matrix}$ 为t+1时刻候选块i的中心坐标; $\begin{matrix} a \end{matrix}$ 为归一化常量。

最后, 重新调整每个候选块相对于跟踪目标的偏移量, 将新得到的目标区域 $\begin{matrix} O^{t + 1} \end{matrix}$ 重新分割, 根据式(5)重新计算候选块偏移量, 并利用多示例学习更新每个候选块对应的随机蕨分类器。

	Figure Option View Download New Window
	图2 目标位置确定过程Fig.2 Process of locating object

为解决遮挡和目标外观变化的影响, 自适应更新候选块集合, 从而引入新的信息以适应目标外观的动态变化。利用随机蕨分类器检测候选块的有效性, 如果候选块后验概率 $\begin{matrix} p_{avg} \leq 0.5 \end{matrix}$ 时, 表示候选块无效, 利用未使用的子块取代无效的候选块。

在第t帧, 取代无效候选块 $\begin{matrix} s p_{k}^{t} \end{matrix}$ 过程:首先, 对目标进行分块, 得到未使用子块集合 $\begin{matrix} UP = {u p_{1}, u p_{2}, \dots, u p_{N}}, N = K - M, UP ⋃ SP = P 。 \end{matrix}$ 其次, 提取 $\begin{matrix} u p_{j} \end{matrix}$ 特征向量, 计算特征向量相似度:

$\begin{matrix} s_{j}^{t} = sim (x_{j}^{t}, x_{j}^{q}) \end{matrix}$ (9)

式中:sim为相似度函数; $\begin{matrix} x_{j}^{t} \end{matrix}$ 为 $\begin{matrix} u p_{j} \end{matrix}$ 的特征向量; $\begin{matrix} x_{j}^{q} \end{matrix}$ 为 $\begin{matrix} u p_{j} \end{matrix}$ 最近一次第 $\begin{matrix} q \end{matrix}$ 帧被使用的特征向量(如果up_j 没有被使用, q=1)。最后, 利用如下公式得到的 $\begin{matrix} u p_{j} \end{matrix}$ 取代 $\begin{matrix} s p_{k}^{t + 1} \end{matrix}$ :

$\begin{matrix} u p_{τ} = argmax s_{j}^{t} (u p_{j}) \end{matrix}$ (10)

图3为候选块更新过程。在图3(a)中, 通过候选块集合得到目标位置。在图3(b)中, 当目标发生遮挡时, 每个候选块依然有效, 可通过候选块得到目标位置。在图3(c)中, 当目标受到遮挡, 候选块2、候选块4无效, 被未使用集合中的子块5、子块7所取代, 目标依然可以成功跟踪。多示例学习分块跟踪算法如下:

	Figure Option View Download New Window
	图3 候选块更新过程Fig.3 Process of updating

算法2 多示例学习分块目标跟踪算法

初始化:

将目标分为K个子块, 得到P={p₁, p₂, …, p_K}, 选择候选块集合SP={sp₁, sp₂, …, sp_M}(M< K), 计算第一帧偏移量集合 $\begin{matrix} {\{z_{k}^{1}\}}_{k = 1}^{M} \end{matrix}$ , 为每个候选块生成正样本集合( $\begin{matrix} x_{k}^{+} \end{matrix}$ , $\begin{matrix} y_{k}^{+} \end{matrix}$ )和负样本集合( $\begin{matrix} x_{k}^{-} \end{matrix}$ , $\begin{matrix} y_{k}^{-} \end{matrix}$ ), k=1, 2, …, M, 利用正、负样本集合为每个候选块训练随机蕨分类器f_k, k=1, 2, …, M

跟踪:

for t=2 to H(图片总数) do

for k=1 to M do

利用随机蕨分类器计算s $\begin{matrix} p_{k}^{t} \end{matrix}$

通过式(6)计算 $\begin{matrix} O_{k}^{t} \end{matrix}$

多示例学习更新并重新训练分类器f_k

end for

通过式(7)计算O^t

通过式(5)调整偏移量集合

候选块更新:

for k=1 to M do

利用随机蕨分类器检测每个候选块

if p_avg< 0.5 do

更新sp_k← up_τ

为新的候选块生成正、负样本集合

break;

end if

end for

2 实验结果及分析

将本文算法与8个主流跟踪算法在不同图片序列上进行测试, 对比跟踪算法为:CT^[17], CXT^[18], Frag^[13], TLD^[11], IVT^[19], MIL^[16], OAB^[20], MILRFD^[21], 这些算法参数均使用默认值, 具体实现参考相应文献。选用faceOcc2^[22]等8组具有挑战的图片序列进行测试。8种跟踪算法在每组图片序列跟踪结果的中心误差、重叠率如表1所示。

表1 中心误差和重叠率 Table 1 Center error and overlap ratio

中心误差表示跟踪结果与真实目标的中心位置的欧氏距离, 距离越小表示跟踪结果越有效、越精确。由表1可得, MFT算法有4组为最优, 4组为次优, mean行为中心误差均值, MFT算法的中心误差均值明显小于其他算法, 表明跟踪结果具有较高的精确度。

重叠率为跟踪结果与真实位置之间的重叠比例, 计算法公式为overlap=(A⋂B )⁄( A⋃B), 其中A为目标真实位置的矩形框, B)为跟踪结果的矩形框。重叠率越高表明跟踪结果越接近真实位置, 跟踪结果越准确。由表1可得, MFT算法有7组为最优, mean行为重叠率均值, MFT算法的重叠率均值高于其他算法, 可见MFT算法具有更高的准确度和鲁棒性。

表2为跟踪算法在8组图片序列处理速度, 由表2可知:CT算法的处理速度明显高于其他算法, 这是因为CT算法是基于压缩感知理论, 利用符合压缩感知条件的随机感知矩阵对多尺度高维图像特征进行降维, 降维后的特征依然可以高概率地重构出高维特征, 很大程度上降低了特征提取的时间复杂度, 而且分类过程仅采用简单的朴素贝叶斯分类器, 提高了算法的运算速度。

表2 算法处理速度 Table 2 Processing speed of algorithm

图4为8种跟踪算法在8组图片序列中某些帧的跟踪效果对比跟踪结果。在faceOccl和faceOcc2序列中背景基本保持不变, 目标在跟踪过程中发生多次和长时间部分遮挡, 导致OAB、TLD、CT、CXT算法都出现严重的目标漂移现象甚至跟踪失败, 在目标大部分区域被遮挡时, MFT算法仍能够正确跟踪, 这表明MFT算法可有效处理长时间遮挡, 实现稳定的跟踪。

	Figure Option View Download New Window
	图4 跟踪结果图Fig.4 Tracking result

在subway和woman序列中, 目标在行走过程中不断被其他物体所遮挡, 且观测角度不断变化, 导致有些算法在跟踪过程的前几帧就出现错误跟踪, 如IVT、OAB、TLD、Frag算法, CT算法出现目标漂移问题。在后续帧中只有MFT算法能完成整个序列的跟踪, 并实现稳定的跟踪。可见, 在目标被不断遮挡的条件下, MFT算法能够实现正确跟踪。

在walking2和tiger2序列中目标在运动过程中, 不断被遮挡, 同时有伴有运动模糊条件的影响。导致CT、CXT、Frag、OAB、MIL在跟踪前期就已经跟踪失败。目标在遮挡结束后, 受到遮挡物的干扰, MFT算法能正确跟踪目标, 其他算法都已跟踪失败。结果表明MFT算法在遮挡、模糊拖影等条件下具有较好的跟踪效果。

在car和carchase序列中, 目标在运动过程中常发生部分遮挡及全部遮挡, 且在视场中消失或者遮挡后又重新出现, 在目标被部分遮挡时, 部分算法出现目标漂移问题。当目标被全部遮挡或消失后再次出现时, 大部分算法无法重新定位到目标, 导致跟踪失败, MFT算法在这两种情况下, 均能实现正确的跟踪。可见, 在部分遮挡及目标再次出现在视场中, MFT算法均能实现稳定的跟踪。

3 结束语

提出了以随机蕨作为基础检测器的多示例学习分块跟踪算法。利用随机蕨检测器和滑动窗口完成目标跟踪, 通过多示例学习算法在线更新检测器。将目标分块处理, 为每个子块分配随机蕨检测器进行跟踪, 通过每个子块信息确定目标最终位置。实时检测无效子块并进行更新。通过几组图片序列进行测试, 在遮挡等复杂环境下, 本文算法的中心误差为9.35、重叠率为64%, 平均帧率为13.9 frame/s, 实验结果表明, 本文算法具有更高的精确度和鲁棒性, 有效解决了目标被遮挡导致的目标漂移和跟踪丢失问题, 具有极高的实用价值。本文算法对跟踪非刚性或者变形较大的物体跟踪效果较差, 如何解决这一问题是下一步的研究工作。

The authors have declared that no competing interests exist.

参考文献

View Option

[1]	薛陈, 朱明, 刘春香. 遮挡情况下目标跟踪算法综述[J]. 中国光学与应用光学, 2009, 2(5): 388-394. Xue Chen, Zhu Ming, Liu Chun-xiang. Review of tracking algorithms under occlusions[J]. Chinese Journal of Optics and Applied Optics, 2009, 2(5): 388-394. [本文引用:1]
[2]	颜佳, 吴敏渊. 遮挡环境下采用在线Boosting的目标跟踪[J]. 光学精密工程, 2012, 20(2): 439-446. Yan Jia, Wu Min-yuan. On-line boosting based target tracking under occlusion[J]. Optics and Precision Engineering, 2012, 20(2): 439-446. [本文引用:1]
[3]	Alper Y, Omar J, Mubarak S. Object tracking: a survey[J]. ACM Computing Surveys, 2006, 38(4): 112-123. [本文引用:1]
[4]	Medeiros H, Park J, Kak A. A parallel color-based particle filter for object tracking[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Anchorage, USA, 2008: 1-8. [本文引用:1]
[5]	Zhang T Z, Ghanem B, Xu C, et al. Object tracking by occlusion detection via structured sparse learning[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Portland , USA, 2013: 1033-1040. [本文引用:1]
[6]	Zhang S P, Wu J P, Tian Y, et al. Robust visual tracking based on occlusion detection and particle redistribution[C]//The Second International Conference on Internet Multimedia Computing and Service, New York, USA, 2010: 159-162. [本文引用:1]
[7]	Mei X, Ling H B, Wu Y, et al. Minimum error bounded efficient L1 tracker with occlusion detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, USA, 2011: 1257-1264. [本文引用:1]
[8]	陈东成, 朱明, 高文, 等. 在线加权多示例学习实时目标跟踪[J]. 光学精密工程, 2014, 22(6): 1661-1667. Chen Dong-cheng, Zhu Ming, Gao Wen, et al. Real-time object tracking via online weighted multiple instance learning[J]. Optics and Precision Engineering, 2014, 22(6): 1661-1667. [本文引用:1]
[9]	Andriluka M, Roth S, Schiele B. People-tracking-by-detection and people-detection-by-tracking[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Anchorage, USA, 2008: 1-8. [本文引用:1]
[10]	Gall J, Yao A, Razavi N, et al. Hough forests for object detection, tracking, and action recognition[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2011, 33(11): 2188-2202. [本文引用:1]
[11]	Kalal Z, Matas J, Mikolajczyk K. Online learning of robust object detectors during unstable tracking[C]//IEEE International Conference on Computer Vision Workshops, Kyoto, Japan, 2009: 1417-1424. [本文引用:2]
[12]	贾松敏, 文林风, 王丽佳. 基于多模板回归加权均值漂移的人体目标跟踪[J]. 光学精密工程, 2016, 24(9): 2339-2346. Jia Song-min, Wen Lin-feng, Wang Li-jia. Person tracking based on multi-template regression weighted mean shift[J]. Optics and Precision Engineering, 2016, 24(9): 2339-2346. [本文引用:1]
[13]	Adam A, Rivlin E, Shimshoni I. Robust fragment-based tracking using the integral histogram[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, USA, 2006: 798-805. [本文引用:2]
[14]	Naik N, Patil S, Joshi M. A fragment based scale adaptive tracker with partial occlusion hand ling[C]//IEEE Region 10 Conference, Singapore, 2009: 1-6. [本文引用:1]
[15]	Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422. [本文引用:1]
[16]	Babenko B, Yang M H, Belongle S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632. [本文引用:2]
[17]	Zhang K, Zhang L, Yang M H. Fast compressive tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(10): 2002-2015. [本文引用:1]
[18]	Dinh T B, Vo N, Medion G. Context tracker: exploring supporters and distracters in unconstrained environments[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2011: 1177-1184. [本文引用:1]
[19]	Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2008, 77(1-3): 125-141. [本文引用:1]
[20]	Grabner H, Grabner M, Bischof H. Real-time tracking via on-line boosting[C]//British Machine Vision Conference, Edinburgh, Britain, 2006: 47-56. [本文引用:1]
[21]	罗艳, 项俊, 严明君, 等. 基于多示例学习和随机蕨丛检测的在线目标跟踪[J]. 电子与信息学报, 2014, 36(7): 1605-1611. Luo Yan, Xiang Jun, Yan Ming-jun, et al. Online target tracking based on mulitiple instance learning and rand om ferns detection[J]. Journal of Electronics & Information Technology, 2014, 36(7): 1605-1611. [本文引用:1]
[22]	Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 36(4): 2411-2418. [本文引用:1]

2009

0.0

... 0 引言如何有效处理遮挡是评价跟踪算法鲁棒性的关键指标^[1,2] ...

2012

0.0

. 2012, 20(2):439-446 DOI:10.3788/OPE.20122002.0439

On-line boosting based target tracking under occlusion

遮挡环境下采用在线Boosting的目标跟踪

Yan Jia , Wu Min-yuan.

颜佳, 吴敏渊

School of Electronic Information, Wuhan University, Wuhan 430079, China

A new on-line boosting algorithm based on sub-regional classifiers was presented to solve the problem that traditional on-line boosting based tracking algorithm often leads to drifting or failure due to the accumulated error during on-line updating under serious occlusions. Firstly, the feature pool was divided into a number of sub-regional feature pools to correspond to their sub-regional classifiers. Then, the sub-regional classifiers were selected adaptively into a strong classifier to eliminate the influence of occluded sub-regions on the target location when occlusions took place. Finally, the sub-regional feature pools were updated partly to solve the problem of accumulated error during on-line learning. The proposed algorithm was tested with variant video sequences and results show that proposed algorithm achieves exact tracking for the object occluded, and the average computing frame rate is 15 frame/s when the object scale is 36 pixel×40 pixel. In conclusion,the algorithm can satisfy the requirements of stability under occlusion as compared with the original on-line boosting algorithm.

针对被跟踪目标在发生严重遮挡时采用基于自学习方法的在线Boosting算法易导致错误累积而产生"漂移"甚至目标丢失的问题,提出了一种基于子区域分类器的在线Boosting算法。首先,将特征池划分为多个子区域分类器对应的子区域特征池;然后,在跟踪过程中自适应地选取子区域分类器来组成强分类器以剔除被遮挡子区域对目标定位的影响;最后,采用对子区域特征池进行部分更新的方法有效解决了特征在线更新时的错误累积问题。对不同视频序列测试的结果表明,当目标大面积被遮挡时本算法能准确定位目标,目标大小为36 pixel×40 pixel时的处理帧率为15 frame/s。与传统在线Boosting算法相比,本算法对发生严重遮挡的目标仍能进行准确跟踪。

... 0 引言如何有效处理遮挡是评价跟踪算法鲁棒性的关键指标^[1,2] ...

2006

0.0

... 遮挡是目标跟踪过程中常见的情况,包括目标自身自遮挡和被背景中的物体遮挡,从目标自身角度看,可分为部分遮挡或全部遮挡^[3] ...

2008

0.0

... 文献^[4]采用预测模型的方法如粒子滤波,对遮挡目标的位置进行预测,此类算法对目标长时间全部遮挡后,再出现在视场中无法重新定位 ...

2013

0.0

... 基于遮挡检测的跟踪算法^[5,6,7,8]可有效处理目标被部分遮挡的情况,但目标被全部遮挡或者消失后再次出现在视场中的情况,此类算法不能实现准确的定位及跟踪 ...

2010

0.0

2011

0.0

2014

0.0

2008

0.0

... 检测-跟踪算法^[9,10,11,12]将跟踪与检测相结合,此类算法可有效处理目标全部遮挡后再出现在视场中,可准确定位 ...

2011

0.0

... 检测-跟踪算法^[9,10,11,12]将跟踪与检测相结合,此类算法可有效处理目标全部遮挡后再出现在视场中,可准确定位 ...

2009

0.0

... 检测-跟踪算法^[9,10,11,12]将跟踪与检测相结合,此类算法可有效处理目标全部遮挡后再出现在视场中,可准确定位 ...

... 2 实验结果及分析将本文算法与8个主流跟踪算法在不同图片序列上进行测试,对比跟踪算法为:CT^[17],CXT^[18],Frag^[13],TLD^[11],IVT^[19],MIL^[16],OAB^[20],MILRFD^[21],这些算法参数均使用默认值,具体实现参考相应文献 ...

2016

0.0

... 检测-跟踪算法^[9,10,11,12]将跟踪与检测相结合,此类算法可有效处理目标全部遮挡后再出现在视场中,可准确定位 ...

2006

0.0

... 基于子块法^[13,14]可有效处理部分遮挡问题,将目标划分为多个小块,根据部分子块信息确定目标的中心坐标以达到跟踪的目的 ...

2009

0.0

... 基于子块法^[13,14]可有效处理部分遮挡问题,将目标划分为多个小块,根据部分子块信息确定目标的中心坐标以达到跟踪的目的 ...

2012

0.0

... 1 随机蕨分类器及其在线更新采用具有实时检测能力的随机蕨构建检测器,并结合多尺度滑动窗口^[15]完成当前帧目标的检测,解决目标被遮挡或消失后再次出现在视场中不能稳定跟踪问题 ...

2011

0.0

... 多示例学习算法^[16]对多示例包进行标注,包中至少含有一个正示例,则包为正样本,反之为负样本 ...

2014

0.0

2011

0.0

2008

0.0

2006

0.0

2014

0.0

. 2014, 36(7):1605-1611 DOI:10.3724/SP.J.1146.2013.01358

Online target tracking based on mulitiple instance learning and random ferns detection

基于多示例学习和随机蕨丛检测的在线目标跟踪

Luo Yan , Xiang Jun , Yan Ming-jun

罗艳, 项俊, 严明君

① (Hubei Key Laboratory of Intelligent Wireless Communications, South-Central University for Nationalities, Wuhan 430074, China) ② (College of Automation, Huazhong University of Science and Technology, Wuhan 430074, China) ③ (College of Electronic Information Engineering, South-Central University for Nationalities, Wuhan 430074, China)

Recently, a class of tracking techniques called “tracking by detection” receive much attention in computer vision. These methods train a discriminative classsifier to separate the object from the background. The classifier bootstraps itself by using the current tracker state to extract positive and negative examples from the current frame. Slight inaccuracies in the tracker lead to incorrectly labeled training examples, which degrade the classifier and cause drift. In this paper, an effective algorithm is proposed to overcome the target drift. It takes the framework of tracking by detection. Median Flow (MF) is used as a tracker to improve the reliability of the tracking point; the detector is constituted with several weak classifiers of random ferns to cascade, and it is updated with online Multiple Instance Learning (MIL). Finally the detector and tracking results are integrated to get the target location. Experiments on a number of challenging video clips show that the proposed method outperforms some state-of-the-art tracking methods, especially for fast motion and drifts.

基于检测的目标跟踪方法目前在计算机视觉领域受到了广泛的关注，这类方法通过训练判别分类器将目标对象从背景中分离出来；分类器的训练是根据当前的跟踪状态从当前帧中提取正负样本来进行，但训练样本的不准确将导致分类器退化产生漂移。该文提出一种能够有效克服目标漂移的跟踪算法，采用检测器和跟踪器相结合的框架，利用中值流算法作为跟踪器，提高跟踪点的可靠性；级联若干个随机蕨弱分类器构成强分类器作为检测器；用在线多示例学习方法更新检测器，提高检测精度；最后将检测器、跟踪器的结果相融合得到最终的目标位置。实验结果表明，与其它方法相比，该方法对目标漂移有更强的鲁棒性。

2015

0.0

... 选用faceOcc2^[22]等8组具有挑战的图片序列进行测试 ...