吉林大学学报(信息科学版) ›› 2024, Vol. 42 ›› Issue (1): 51-58.

• • 上一篇    下一篇

Copula 层次化变分推理

 欧阳继红a,b , 曹竞月a,b 王 腾a,b 
  

  1. 吉林大学 a. 计算机科学与技术学院; b. 教育部符号计算与知识工程重点实验室, 长春 130012
  • 收稿日期:2022-02-28 出版日期:2024-01-29 发布日期:2024-02-04
  • 作者简介: 欧阳继红(1964— ), 女, 长春人, 吉林大学教授, 博士生导师, 主要从事符号与知识工程研究, ( Tel)86-13086892578 (E-mail)ouyj@ jlu. edu. cn
  • 基金资助:
     国家自然科学基金资助项目(61876071) 

Copula Hierarchical Variational Inference 

OUYANG Jihong a,b , CAO Jingyue a,b , WANG Teng a,b   

  1. a. College of Computer Science and Technology; b. Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, Changchun 130012, China
  • Received:2022-02-28 Online:2024-01-29 Published:2024-02-04

摘要: 为提高 Copula 变分推理(CVI: Copula Variational Inference)的近似性能, 提出了一种 Copula 层次化变分 推理方法(CHVI: Copula Hierarchical Variational Inference)。 该方法的主要思想是将 CVI 方法中的 Copula 函数 与层次化变分模型(HVM: Hierarchical Variational Model)特殊的层次变分结构相结合, 使 HVM 的变分先验服从 CVI 方法中的 Copula 函数。 CHVI 不但继承了 CVI 中的 Copula 函数较强的捕获变量相关性的能力, 而且还继承 了 HVM 的变分先验结构能获取模型隐变量依赖关系的优势, 使 CHVI 可以更好地捕获隐变量之间的相关性, 提高近似精度。 利用基于经典的高斯混合模型验证 CHVI 方法, 在合成数据集和实际应用数据集上的实验结果 表明, CHVI 方法的近似精度相较于 CVI 有较大提升。

关键词: 变分推理, Copula 函数, 层次化, 相关性

Abstract: In order to improve the approximate performance of CVI(Copula Variational Inference), the CHVI (Copula Hierarchical Variational Inference) method is proposed. The main idea of this method is to combine the Copula function in the CVI method with the special hierarchical variational structure of the HVM(Hierarchical Variational Model), so that the variational prior of the HVM obeys the Copula function in the CVI method. CHVI not only inherits the strong ability of the Copula function in CVI to capture the correlation of variables, but also inherits the advantage of the variational prior structure of HVM to obtain the dependencies of the hidden variables of the model, so that CHVI can better capture the relationship between hidden variables. correlation to improve the approximation accuracy. The author validates the CHVI method based on the classical Gaussian mixture model. The experimental results on synthetic datasets and practical application datasets show that the approximate accuracy of the CHVI method is greatly improved compared to the CVI method. 

Key words: variational inference, Copula function, hierarchy, correlation

中图分类号: 

  • TP391