吉林大学学报(工学版) ›› 2014, Vol. 44 ›› Issue (01): 235-240.doi: 10.13229/j.cnki.jdxbgxb201401038

• 论文 • 上一篇    下一篇

视频显著性计算模型及其在广告插入中的应用

赵世杰, 韩军伟, 贺胜, 程塨, 郭雷   

  1. 西北工业大学 自动化学院, 西安 710129
  • 收稿日期:2012-08-30 出版日期:2014-01-01 发布日期:2014-01-01
  • 通讯作者: 韩军伟(1977-),男,教授,博士生导师.研究方向:计算机视觉,机器学习.E-mail:junweihan2010@gmail.com E-mail:junweihan2010@gmail.com
  • 作者简介:赵世杰(1987-),男,博士研究生.研究方向:图像处理,机器学习.E-mail:857367398@qq.com
  • 基金资助:

    国家自然科学基金项目(61005018,91120005);教育部新世纪优秀人才支持计划项目(NCET-10-0079);西北工业大学基础研究基金项目(NPU-FFR-JC20120237).

Video saliency computational model and its application in video advertising

ZHAO Shi-jie, HAN Jun-wei, HE Sheng, CHENG Gong, GUO Lei   

  1. School of Automation, Northwestern Polytechnical University, Xi'an 710129, China
  • Received:2012-08-30 Online:2014-01-01 Published:2014-01-01

摘要:

提出了一种新的基于频域分析的视频显著性计算模型。该模型具有计算量小、速度快的优点。首先将原始视频处理成一系列视频场景图片;然后根据频域分析方法分别计算视频的空域显著图和时域显著图,并用Renyi熵度量显著图的显著性;最后,融合时域和空域显著性结果,得到视频的显著性曲线。将本文模型应用于视频广告插入系统中并与现有方法比较,结果证明了其有效性。

关键词: 信息处理技术, 视频显著性分析, 频域分析, Renyi熵, 视频广告

Abstract:

This paper proposes a novel video saliency computational model based on frequency domain analysis, which is simple and efficient. First, the original video is parsed to a series of consecutive video scene images. Then, the space domain saliency and time domain saliency of the video scene images are computed, respectively. In each domain, the saliency of each frame is estimated by using Renyi entropy. Finally, both space domain and time domain results are fused to obtain the overall saliency. Application results in video advertising system and comparison with state-of-the-art approach demonstrate the effectiveness of the proposed model.

Key words: information processing, video saliency analysis, frequency analysis, Renyi entropy, video advertising

中图分类号: 

  • TN911

[1] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[2] Walther D, Koch C. Modeling attention to salient proto-objects[J]. Neural Networks, 2006, 19(9): 1395-1407.

[3] Liu T, Yuan Z J, Sun J, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[4] Hou X D, Zhang L Q. Saliency detection:a spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.

[5] Guo C L, Ma Q, Zhang L M, et al. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

[6] Wolf W. Key frame selection by motion analysis[C]//IEEE International Conference on Acoustics, Speech and Signal Processing, 1996: 1228-1231.

[7] Li K M, Zhang T, Hu X T, et al. Human-centered attention models for video summarization[C]//ACM Special Interest Group on Computer-Human Interaction, 2010: 1-27.

[8] Ma Y F, Hua X S, Lu L, et al. A generic framework of user attention model and its application in video summarization[J]. IEEE Transactions on Multimedia, 2005, 7(5): 907-919.

[9] Wang R X, McKenna S, Han J W, et al. Visualizing image collections using high-entropy layout distributions[J]. IEEE Transactions on Multimedia, 2010, 12(8): 803-813.

[10] Pierre B, Itti L. Of bits and wows:a Bayesian theory of surprise with applications to attention[J]. Neural Networks, 2010, 23(5):649-666.

[11] Mei T, Hua X S, Yang L J, et al. Videosense: towards effective online video advertising[C]//Proceedings of the 15th International Conference on Multimedia, 2007: 1075-1084.

[1] 苏寒松,代志涛,刘高华,张倩芳. 结合吸收Markov链和流行排序的显著性区域检测[J]. 吉林大学学报(工学版), 2018, 48(6): 1887-1894.
[2] 徐岩,孙美双. 基于卷积神经网络的水下图像增强方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1895-1903.
[3] 黄勇,杨德运,乔赛,慕振国. 高分辨合成孔径雷达图像的耦合传统恒虚警目标检测[J]. 吉林大学学报(工学版), 2018, 48(6): 1904-1909.
[4] 李居朋,张祖成,李墨羽,缪德芳. 基于Kalman滤波的电容屏触控轨迹平滑算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1910-1916.
[5] 应欢,刘松华,唐博文,韩丽芳,周亮. 基于自适应释放策略的低开销确定性重放方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1917-1924.
[6] 陆智俊,钟超,吴敬玉. 星载合成孔径雷达图像小特征的准确分割方法[J]. 吉林大学学报(工学版), 2018, 48(6): 1925-1930.
[7] 刘仲民,王阳,李战明,胡文瑾. 基于简单线性迭代聚类和快速最近邻区域合并的图像分割算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1931-1937.
[8] 单泽彪,刘小松,史红伟,王春阳,石要武. 动态压缩感知波达方向跟踪算法[J]. 吉林大学学报(工学版), 2018, 48(6): 1938-1944.
[9] 姚海洋, 王海燕, 张之琛, 申晓红. 双Duffing振子逆向联合信号检测模型[J]. 吉林大学学报(工学版), 2018, 48(4): 1282-1290.
[10] 全薇, 郝晓明, 孙雅东, 柏葆华, 王禹亭. 基于实际眼结构的个性化投影式头盔物镜研制[J]. 吉林大学学报(工学版), 2018, 48(4): 1291-1297.
[11] 陈绵书, 苏越, 桑爱军, 李培鹏. 基于空间矢量模型的图像分类方法[J]. 吉林大学学报(工学版), 2018, 48(3): 943-951.
[12] 陈涛, 崔岳寒, 郭立民. 适用于单快拍的多重信号分类改进算法[J]. 吉林大学学报(工学版), 2018, 48(3): 952-956.
[13] 孟广伟, 李荣佳, 王欣, 周立明, 顾帅. 压电双材料界面裂纹的强度因子分析[J]. 吉林大学学报(工学版), 2018, 48(2): 500-506.
[14] 林金花, 王延杰, 孙宏海. 改进的自适应特征细分方法及其对Catmull-Clark曲面的实时绘制[J]. 吉林大学学报(工学版), 2018, 48(2): 625-632.
[15] 王柯, 刘富, 康冰, 霍彤彤, 周求湛. 基于沙蝎定位猎物的仿生震源定位方法[J]. 吉林大学学报(工学版), 2018, 48(2): 633-639.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!