在空间域内提取兴趣点有很多种方法, 比如比较常见的Harris角点检测方法^[7]。该方法认为, 角点为图像中正交方向上梯度向量比较大的点。该梯度向量由以下公式获得:

式中: 是高斯平滑函数。

通常空域中的兴趣点只包含图像中的空域信息, 而没有图像的运动信息, 这对人体行为的特征表示而言是非常重要的。Laptev等^[8]将Harris的角点检测思想扩展到了时域, 该方法认为, 时空角点是在 三个方向正交向量上比较大的点(t为时间轴信息), 但是该方法无法提取到足够丰富的时空兴趣点。而Dollá r等^[9]所提出的时空兴趣点检测方法, 能够提取出丰富的时空兴趣点, 所以在本文中采取了Dollá r的时空兴趣点检测方法。其响应函数为:

式中: 是一个二维的高斯平滑核, 作用于空间维度, 其公式为:

是一对一维的高斯平滑核, 作用于时间维度, 其公式为:

实验中, 图1表示挥手、跑步、握手、踢腿的兴趣点检测结果。红色点即为检测出的时空兴趣点。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 时空兴趣点检测结果(a)挥手Fig.1 Spatio-temporal detection results

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 时空兴趣点检测结果(b)跑步Fig.1 Spatio-temporal detection results

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 时空兴趣点检测结果(c)握手Fig.1 Spatio-temporal detection results

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 时空兴趣点检测结果(d)踢腿Fig.1 Spatio-temporal detection results

时空兴趣点可以正确地表示视频序列中具有明显运动的区域, 值得注意的是, 当两人进行双人交互行为时, 那些包含信息量最大的兴趣点通常是在两人有接触时, 即两个人体剪影区域 连通时, 以及连通前后一段时间的视频序列中。本文认为这一部分的信息才是两人交互行为中最关键的信息, 所以本实验中只取这一部分的时空兴趣点。

设视频序列的时空兴趣点集为 这里 代表所有特征点的个数。

(1)视频序列中有两个互不连通人体剪影的区域 若在 帧图像中只有一个连通区域 在 时即第 则可以得到:

(2)若在整个视频序列中, 始终有两个互不连通的人体剪影区域C₁、C₂。这是因为某些交互行为比如挥拳或踢腿发生时会有闪躲发生, 两人并没有接触到。针对这种情况, 选取一个中心时间:

则可以得到:

式中: 为尺度参数, 决定连通前后的视频所取帧数的多少。

选取的时空兴趣点集时间轴上的范围为 在本文中, 用 来描述时空兴趣点, 为兴趣点的二维空间坐标, 为兴趣点的时间量值。也就是说, 本文只采用了兴趣点的坐标信息, 这样做可以在很大程度上减少时空单词的维度, 提高运算速度。

由式(7)可以看出, 是与连通帧数 成反比的, 也就是说, 连通帧数越多, 该连通部分时空兴趣点所含的信息量越多, 足以区分不同的行为所需要的连通前后的帧数越少; 若连通的时间越少, 连通部分的时空兴趣点所含信息量不足以区分不同的行为, 则所需要的连通前后的帧数越多。

高斯混合模型的公式如下:

式中:参数 包含2个高斯模型的参数:均值 服从高斯分布, 表示点 属于第 类的概率密度函数; 包含兴趣点的 方向的坐标值信息。

由于样本的分类即模型参数未知, 需要对高斯混合模型的参数进行估计, 这里采用EM算法对其进行估计。在GMM建模中, EM算法的公式为:

这样就得到了高斯混合模型中的各个参数。

由于时空特征点集里的点都是一些散乱无关的点, 所以需要对这些时空兴趣点进行统计, 生成时空单词。大部分研究者采用K-means聚类算法^{[3, 6]}来对时空兴趣点进行聚类, 这种方法将点强硬地分配给各个聚类中心, 没有考虑其概率分布, 不符合实际情况。高斯混合模型是按一定的概率将点分配给各个聚类中心, 所以本文采用高斯混合模型对时空兴趣点进行聚类, 生成时空单词。为保证时空兴趣点的平移与缩放的不变性, 本文对所有时空兴趣点进行归一化。

归一化后的时空兴趣点集为:将 作为EM算法的输入带入式(13)~(17)中, 得到第一次高斯混合模型的参数。取所得高斯模型的中心点 做为时空单词, 本文中,

图2分别是挥手、跑步、握手、踢腿的时空兴趣点聚类结果及其聚类中心。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各种动作聚类结果及中心Fig.2 Clustering results and clustering centers of different behaviors

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各种动作聚类结果及中心Fig.2 Clustering results and clustering centers of different behaviors

得到行为库中所有的时空单词后, 要对其进行高斯混合模型训练。设行为库中某一行为的所有时空单词集为:

式中: 为该行为的训练集视频个数。将其带入式(13)~(17)中, 训练得到该行为最终的高斯混合模型:

对行为库内每种行为的 进行GMM训练, 则可得到每一种行为的高斯混合模型。最后采用匹配的方法进行行为识别, 将待测试视频的时空单词输入到每一个GMM中, 符合该行为的高斯混合模型将得到最大值, 则可判断该视频为哪一种行为。