基于多维矢量矩阵理论的KL变换
陈绵书, 王园园, 桑爱军, 陈贺新
吉林大学 通信工程学院, 长春 130022
通讯作者:桑爱军(1973-),女,教授,博士.研究方向:多维视频流编解码.E-mail:sangaj@jlu.edu.cn

作者简介:陈绵书(1973-),男,副教授,博士.研究方向:图像处理,人工智能.E-mail:chenms@jlu.edu.cn

摘要

为了使Karhunen-Loeve ( KL)变换适应高维数据,同时为了找出多维矢量矩阵的最优变换,本文提出了基于多维矢量矩阵理论的 M维KL变换(即MKL变换).首先结合多维矢量矩阵理论定义多维协方差矩阵,并求解多维特征向量矩阵;然后定义MKL变换,将多维数据映射到投影空间.实验结果表明:MKL变换在一维时与KL变换具有相同的最优性;对于三维视频数据,MKL变换实现了完全解相关,平均能量集中率(EPE)高达99%.

关键词: 信息处理技术; 视频图像压缩编码技术; 多维矢量矩阵; KL变换
中图分类号:TN919 文献标志码:A 文章编号:1671-5497(2016)02-0627-05
KL transformation based the theory of multidimensional vector matrix
CHEN Mian-shu, WANG Yuan-yuan, SANG Ai-jun, CHEN He-xin
College of Communication Engineering, Jilin University, Changchun 130022,China
Abstract

In order to adapt Karhunen-Loeve (KL) transform to multidimensional data, meanwhile to find out the optimal transformation of multidimensional vector matrix, a Multidimensional KL (MKL) transform based the theory of multidimensional vector matrix is proposed. First, the multidimensional covariance matrix is defined using the theory of multidimensional vector matrix, and the multidimensional characteristic matrix vector is solved. The, MKL transform is defined and the multidimensional data are mapped to the projective space. Simulation results show that the MKL transform in one-dimension has the same optimality as the KL transform. For 3D video data block, the average EPE can be as high as 99% by integral transformation, and MKL realizes decorrelation completely.

Keyword: information processing; video image compression coding technology; multidimensional vector matrix; KL transform
0 引 言

多维理论(高维理论)很早就被提出, 并在一些领域里得到了广泛的应用, 如在力学领域[1], 优化方面[2], 数据存储方面[3]等.目前, 高维理论无论是在表现形式, 还是在存储上都得到了不断发展, 但是较少应用于变换领域.Liu等[4, 5, 6]提出了基于多维矢量矩阵的多维矢量变换, 并应用到彩色视频流压缩编码和多视角视频编码中, 在去除冗余, 提高能量集中性方面都取得了不错的效果.对于有限的多维矢量信号给出它的最优变换, 也就成为了进一步过程中不可避免的一部分.Karhunen-Loeve(KL)变换[7, 8, 9]是均方误差准则下的最优变换, 由于它在完全解相关, 有效减少特征图像数目以及抽取更好特征图像等方面的优点, 所以即使它存在计算量大, 复杂度高, 无快速算法的缺点, 也还是在实际中应用.

离散图像的KL变换采用行, 列堆叠的方法进行近似计算, 表达形式上还存在一定的缺陷, 并且随着人们对于视频图像要求的提高, 传统的二维(2 dimensional, 2D)图像记录及重现场景的视频技术已经不能满足观看者的视觉要求, 然而现有的KL变换并不具备向着多维方向发展的延展性.为明确离散图像KL变换的表达式, 并使KL变换从一维扩展到多维, 本文从KL变换理论出发, 结合多维矢量矩阵理论, 重新定义离散图像KL变换, 并把其推广到M维, 即MKL变换.最后通过实验证明其在能量集中性和解相关性方面的优越性.

1 多维矢量矩阵理论
1.1 多维矢量矩阵的定义

定义1 F域上的m1× m2个元素( ai1i2)排列而成的矩阵称为二维矩阵, 记为 Am1×m2; F域上的m1× m2× , et al.× mK个元素( ai1i2iK)排列而成的矩阵称为多维矩阵, 记 Am1×m2××mK.

定义2 将多维矩阵 Am1×m2××mK的维数K分成两部分, 分别表示为矢量m=(m1, m2, , et al., mM), n=(n1, n2, , et al., nN), 其中M+N=K, 从而多维矩阵 Am1×m2××mK又可以变化为 A(m1×m2××mM)×(n1×n2××nN), 称其为多维矢量矩阵, 简记为Am× n.

定义3 若定义2中划分的矢量mn的维数相同(M=N), 则称 A(m1×m2××mM)×(n1×n2××nM)为2M维矢量矩阵.

1.2 多维矢量矩阵的特征值和特征向量

由于此处的特征值和特征向量的计算都是针对于2M维的协方差矩阵, 且2M维协方差矩阵 A(m1×m2××mM)×(n1×n2××nM)的矢量mn的对应阶数均相同, 所以2M维协方差矩阵可以表示为 A(m1×m2××mM)×(m1×m2××mM).

定义4 如果2M维矢量矩阵为 A(m1×m2××mM)×(m1×m2××mM), 则它的特征矩阵为λ E(m1×m2××mM)×(m1×m2××mM)-A(m1×m2××mM)×(m1×m2××mM), 其中λ F.

定义5 若2M维矢量矩阵的特征矩阵如定义4所示, 则它的行列式为 E(m1×m2××mM)×(m1×m2××mM)-A(m1×m2××mM)×(m1×m2××mM)|, 其中行列式的表达式是一个关于λ 的多项式, 记做φ (λ ), 称此表达式为 A(m1×m2××mM)×(m1×m2××mM)的特征多项式.其中特征多项式的根记作 A(m1×m2××mM)×(m1×m2××mM)的特征值, 或是特征根.

1.3 2M维矢量矩阵的特征向量

定理1 设λ 是2M维矢量矩阵 A(m1×m2××mM)×(m1×m2××mM)的某个特征值.若有非零2M维向量 α(m1×m2××mM)×(1×1××1)使 A(m1×m2××mM)×(m1×m2××mM)α(m1×m2××mM)×(1×1××1)=λα(m1×m2××mM)×(1×1××1)成立, 则称 α(m1×m2××mM)×(1×1××1)是对应于特征值λ 的2M维矢量矩阵 A(m1×m2××mM)×(m1×m2××mM)的特征向量.

2 MKL变换

KL变换最大优点是消除相关性, 它是最小均方误差准则(Minimum mean square error, MMSE)下的最优变换[10, 11], 可以获得最佳匹配图像效果, 并消除变换域里的全部相关性.本文在推导出MKL变换之前, 首先给出多维协方差的定义.

2.1 多维协方差矩阵

对于一维向量, KL变换的协方差矩阵具有明确的定义和表达形式.而对于离散图像信号, 并没有相应的定义.所以在此结合多维矢量矩阵理论, 给出了离散图像信号多维协方差矩阵的定义.

定义6 设屡被传送的N× N图像信号为X,

X=x11x12x1Nx21x22x2NxN1xN2xNNN×N

则离散图像信号多维协方差矩阵为:

Σx=EX-μx(N×N)×(1×1)×X-μxT(N×N)×(1×1)=σ(i1i2)×(j1j2)2(N×N)×(N×N)=σIJ2(N×N)×(N×N)(1)

其中, I=(i1i2), J=(j1j2);

σIJ2=σ(i1i2)×(j1j2)2=Exi1i2-x-i1i2xj1j2-x-j1j2;

1< i1, i2, j1, j2< N;

E X= x-11x-12x-1Nx-21x-22x-2Nx-N1xN2x-NNN×N

定义6给出了离散图像信号多维协方差矩阵的定义.此外, 为了处理高维数据, 本文又通过推导给出Μ 维矢量信号的多维协方差矩阵定义, 如定义7所示.

定义7 设屡被传送的M维矢量信号为X, X=

; 1≤ i1N1, , et al., 1≤ iΜ NM, 则M维矢量信号的2M维协方差矩阵为:

Σx=EX-μx(N1×N2××NΜ)×(1×1××1)×X-μxT(N1×N2××NM)×(1×1××1)=σ(i1i2iM)×(j1j2jM)2(N1×N2××NM)×(N1×N2××NM)=σIJ2(N1×N2××NM)×(N1×N2××NM)(2)

其中, I=(i1i2, et al.iM), J=(j1j2, et al.jM),

σIJ2= σi1i2iM×(j1j2jM)2=

E xi1i2iM-x-i1i2iMxj1j2jM-x-j1j2jM, E X= x-i1i2iMN1×N2××NM

定义6和定义7摒弃了传统离散图像应用堆叠思想求解协方差矩阵的思路, 直接应用多维矢量矩阵, 定义M维矢量信号的2M维协方差矩阵.

2.2 多维信号的KL变换

在多维矢量矩阵运算法则, 多维协方差矩阵定义和多维特征向量求解方法的基础上, 对多维信号的KL变换进行研究, 推导出了MKL变换.

M维离散矢量信号为X, 其中X=[ xi1i2iM]N1×N2××NM; 1≤ i1N1, , et al., 1≤ iMNM, 则MKL变换:① 首先根据定义7求解2M维协方差矩阵Σ A.② 根据多维矢量矩阵特征向量的求解方法, 求解多维协方差矩阵Σ A的多维特征向量矩阵.③ 把多维协方差矩阵Σ A的特征值λ I(其中I=(i1i2, et al.iM))从大到小排列, 对应的特征向量为 α(i1×i2××iM)×(1×1××1), 构成2M维变换核矩阵T.

M维离散矢量信号X进行变换:

MKL正变换为:YJ= TTIJXI(3)

MKL反变换为:XI=TIJYJ(4)

其中, YX经过变换后得到的M维矩阵, Y=[ yj1j2jM]N1×N2××NM, 1≤ j1N1, , et al., 1≤ jMN, T则是MKL变换的2M维变换核矩阵, 即:

T=TIJ(N1×N2××NM)×(N1×N2××NM)

其中, I= i1i2iM, J=(j1j2, et al.jM).

3 实验结果分析

实验采用352× 288的4:2:0的yuv视频作为实验对象, 主要包括foreman.yuv等视频, 并以解相关程度和能量集中性作为评价标准对实验数据进行分析.

分块是把* .yuv格式的视频分为Y块, U块, V块, 并在Y, U, V块上进行扫描得4× 4× 4, 8× 8× 8或者16× 16× 16数据块.图1为分成4× 4× 4数据块的示意图.

图1 整体分块示意图Fig.1 Overall block diagram

3.1 解相关性比较

数据一般通过比较变换前, 后的协方差矩阵来衡量解相关的程度.本文利用VC++6.0进行实验, 分别获取变换前, 后的多维协方差矩阵, 发现变换后的多维协方差矩阵均为对角阵, 因此MKL变换具有完全解相关性.

3.2 能量集中性

能量集中率(EPE)评价标准是变换系数矩阵中某一矢量较大系数的能量与所有系数能量的百分比, 即:

EPEM0=p=0M0-1EXP2p=0M-1EXp2(5)

对foreman.yuv进行MKL变换, 比较不同分块情况下变换前, 后左上角的能量集中率, 如表1所示, 其中EPE如公式(6)所示:

EPEM0=E2[0][0][0]i=0N-1J=0N-1k=0N-1E2[i][j][k](6)

分别对foreman, tempete, silent视频进行分块, 变换, 并以4阶三维分块为例, 比较变换前, 后左上角的平均能量集中率, 如表2所示.

表1, 表2可以发现, 视频块经过MKL变换, 平均能量基本已经完全集中在左上角, 具有很好的能量集中性.

图2是以foreman的4阶三维块为例, 显示出变换前, 后所有变换块的EPE.通过对比可以发现, 变换后所有块的能量集中率都得到了很大改善.

表1 不同分块下foreman变换前, 后的平均EPE Table 1 Foreman average EPE under different block before and after the transformation
表2 不同视频源变换前, 后的平均EPE Table 2 Average EPE under different video source before and after the transformation

图2 所有块变换前, 后的EPEFig.2 EPE of all the blocks before and after the transformation

4 结束语

根据现有的多维矢量矩阵和Karhunen-Loeve(KL)变换理论, 创新性地定义了基于多维矢量矩阵的协方差矩阵, MKL变换.对yuv格式视频进行了三维4阶, 8阶, 16阶的MKL变换, 以验证MKL变换的解相关性和能量集中性.实验结果表明:变换后的数据可以完全解相关; 且对于数据块仅取左上角1个数据(即1/64, 1/512, 1/4096)所得Y分量的EPE均值均高达99%以上.这充分说明了MKL变换具有很好的能量集中性和解相关性.本研究还有一定的局限性和不足, 在下一步工作中, 将继续针对MKL变换的应用, MKL变换与多维矢量矩阵最优变换的关系等方面展开进一步的研究.

The authors have declared that no competing interests exist.

参考文献
[1] 张伟, 姚明辉, 张君华, . 高维非线性系统的全局分岔和混沌动力学研究[J]. 力学进展, 2013 43(1): 63-91.
Zhang Wei, Yao Ming-hui, Zhang Jun-hua, et al. High dimensional nonlinear systems global bifurcation and chaos dynamics research[J]. Advances in Mechanics, 2013, 43(1): 63-91. [本文引用:1]
[2] 刘凯, 李文东, 张闻钊, . 高维辅助的普适量子线路优化[J]. 物理学报, 2012, 61(12): 1-7.
Liu Kai, Li Wen-dong, Zhang Wen-zhao, et al. High-dimensional auxiliary's moderate line optimization[J]. Acta Phys, 2012, 61(12): 1-7. [本文引用:1]
[3] 丁东生, 周志远, 史宝森, . 高维量子态存储[J]. 量子电子学报, 2014, 31(4): 442-449.
Ding Dong-sheng, Zhou Zhi-yuan, Shi Bao-sen, et al. A quantum memory for high-dimensional states[J]. Chinese Journal of Quantum Elecronics, 2014, 31(4): 442-449. [本文引用:1]
[4] Liu L L, Chen H X, Sang A J, et al. 4D order-4 vector matrix DCT integer transform and its application in video codec[J]. Imaging Science Journal, 2010, 58(10) : 321-330. [本文引用:1]
[5] 桑爱军, 穆森, 王墨林, . 基于多维矢量矩阵的多视角视频编码[J]. 吉林大学学报: 工学版, 2013, 43(4): 1110-1115.
Sang Ai-jun, Mu Sen, Wang Mo-lin, et al. Multi-view video coding based on multidimensional vector matrix[J]. Journal of Jilin University (Engineering and Technology Edition), 2013, 43(4): 1110-1115. [本文引用:1]
[6] 桑爱军, 崔海廷, 王墨林, . 高维变换域中的系数集中分析及研究[J]. 吉林大学学报: 工学版, 2013, 43(增刊): 96-100.
Sang Ai-jun, Cui Hai-ting, Wang Mo-lin, et al. Coefficients concentration analysis and research in high-dimensional transformation domain[J]. Journal of Jilin University(Engineering and Technology), 2013, 43(Sup. ): 96-100. [本文引用:1]
[7] Puchala D. Approximating the KLT by maximizing the sum of fourth-order moments[J]. IEEE Signal Processing Letters, 2013, 20(3): 193-196. [本文引用:1]
[8] Jana S, Moulin P. Optimality of KLT for high-rate transform coding of Gaussian vector-scale mixtures: application to reconstruction, estimation, and classification[J]. IEEE Transaction on Information Theory, 2006, 52(9) : 4049-4068. [本文引用:1]
[9] 卢山. 基于可逆整型KL变换和FS-KFDA的复杂图像压缩与分类[D]. 西安: 西安电子科技大学电子工程学院, 2013.
Lu Shan. Based on the reversible integer KL transform and complex image compression and classification of FS - KFDA said[D]. Xi'an: School of Electrical Engineering, Xi'an University of Electronic Science and Technology, 2013. [本文引用:1]
[10] 王文峰. K-L变换的研究及其在图像压缩编码中的应用[D]. 沈阳: 沈阳理工大学信息科学与工程学院, 2008.
Wang Wen-feng. K-L transformation research and its application in image compression coding[D]. Shenyang: School of Information Science and Engineering, Shenyang Ligong University, 2008. [本文引用:1]
[11] Hanzlik P, Páta P. Derivate statistics for Karhunen-Loève transform[J]. Proc of SPIE, 2006, 6180: 1-7. [本文引用:1]