改进的基于狄利克雷混合模型的推荐算法

引用本文

董坚峰, 张玉峰, 戴志强. 改进的基于狄利克雷混合模型的推荐算法. 2018, 48(2): 596-604
DONG Jian-feng, ZHANG Yu-feng, DAI Zhi-qiang. Improved recommendation algorithm based on DPM model. Journal of Jilin University Engineering and Technology Edition, 2018, 48(2): 596-604 复制到剪切板

Doi:10.13229/j.cnki.jdxbgxb20161325
Permissions

改进的基于狄利克雷混合模型的推荐算法

董坚峰^1,², 张玉峰³, 戴志强¹

1.吉首大学软件学院,湖南张家界427000

2.中山大学管理学院, 广州510275

3 武汉大学信息资源研究中心,武汉430072

作者简介:董坚峰(1977-),男,副教授,在站博士后. 研究方向:计算机信息系统工程,网络信息资源管理.E-mail:yuanrele@163.com

基金项目:国家自然科学基金项目(71373197); 湖南省哲学社会科学基金项目(14YBA318); 湖南省教育厅优秀青年项目(17B221)

摘要

数据动态性在设计推荐算法过程中不能忽略。针对大多数传统型静态文本建模方法主要基于可交换性的基本假设,对数据在协变量空间上的依赖关系有所忽略的问题,本文提出了一种新的主要基于函数式DPM模型过程动态推荐模型。该模型对传统DPM混合模型在动态数据建模方面的问题进行了改进。创建了相关狄利克雷过程的参数与协变量空间联系,且狄利克雷过程仍然属于边际分布。应用函数式狄利克雷过程,可针对产生、消失以及参数改变的混合模型组件进行有效建模,并可作为动态先验融入非参数混合模型。仿真实验结果表明,与应用传统狄利克雷过程做先验的话题模型相比,本文算法优势更加明显。

关键词: 计算机系统结构; DPM模型; 动态数据; 吉布斯采样; 折叠采样推演算法

中图分类号:TP393 文章编号:1671-5497(2018)02-0596-09

Improved recommendation algorithm based on DPM model

DONG Jian-feng^1,², ZHANG Yu-feng³, DAI Zhi-qiang¹

1.School of Software,Jishou University,Zhangjiajie 427000,China

2.Sun Yat-Sen Business School,Sun Yat-sen University,Guangzhou 510275,China

3.Center for Studies of Information Resources,Wuhan University,Wuhan 430072,China

Abstract

Data dynamics can not be ignored in the design of recommendation algorithm. Most of the traditional static text modeling methods are based on the basic assumption of exchangeability, but the dependence of the data in the covariate space is neglected. To solve this problem, a new dynamic function DPM recommendation model is proposed based on process model. This model improves the traditional Diky mixture model in dynamic data modeling. The space relationship of the parameters and covariates of the dependent Dirichlet process is created, while the Dirichlet process still belongs to the marginal distribution. Application of functional Dirichlet process can carry out effective modeling for mixed model assembly for disappeared and the change of the parameters, and can be used as a dynamic prior into parametric mixture model. Simulation results show that, compared with traditional de Lickley process, the proposed algorithm has more obvious advantages in doing a priori topic model.

Key words: computer systems organization; DPM model; dynamic data; Gibbs sampling; folding sampling deduction algorithm

Show Figures

0 引言

选择模型在机器学习过程中一直属于研究热点以及研究难点^[1]。随着互联网技术的高速发展以及在各个领域里应用越来越广泛的网络应用, 网络数据所具有的时间与空间上的动态变化特征已不能被人所忽视, 变得越来越重要。针对一些新闻、网页等文本信息类构造文本推荐模型时, 必须要充分考虑这些数据的时间与空间上的动态变化特征。一些专家学者为了在某种程度上解决这一问题, 创建了贝叶斯非参数模型^[13]。通过非参数贝叶斯先验, 能够对模型的规模自动改变, 进而与数据的复杂性相适应。近几年, 贝叶斯非参数模型在相关领域如文本建模型领域^[2]和推荐系统^[3]等的作用越发重要。

狄利克雷过程混合模型具有应用灵活和推理算法高效的特点, 目前在贝叶斯非参数模型中极为重要。作为混合模型组件的先验, DP狄利克雷过程混合模型与参数型话题模型比较接近:在狄利克雷分布中隐含狄利克雷分配作用^[4]。全部基于可交换的基本假设, 包括狄利克雷分布混合模型和狄利克雷过程混合模型。可交换性假设在狄利克雷过程混合模型当中, 标志着一个共享狄利克雷过程可产生全部数据单元, 可交换性能够通过混合模型的全部组件得到满足, 即组件的概率不随着组件的顺序变化而改变。不过, 这个假设在大部分应用中都不成立。

文本建模在网络应用中是应用广泛的推荐技术。许多专家学者对文本的建模做了一些研究工作, 文本存在的话题包括一个或者多个, 其中单词概率分布问题即指话题。新的话题伴随时间的延续而产生, 已存在的话题有可能消失或者发生其他变化。这种现象与空间上比较相类似, 可能在某区域范围之内只出现一个话题, 在不同的地点同一个话题的分布也会变化。混合模型组件在相关情景之中, 与可交换性假设并不相符, 其动态性在某种时间或者空间的协变量上持续存在。一些该领域的专家学者做了一些改进传统混合模型考虑组件动态性的相关工作研究^[5], 大部分都考虑话题在时间上的动态性, 比如, 由Lin等^[6]提出的马尔科夫模型, 对话题在离散时间协变量上的相关性处理就主要基于马尔科夫链的狄利克雷过程^[7]。

空间与时间相关性事实上也是有关联性的^[8]。一维欧几里得空间通过时间被形式化, 而二维欧几里得空间被形式化成为地点。两者从这个意义上讲是一致的^[9]。在给定协变量空间上我们可以考虑创建相关狄利克雷过程, 混合模型的组件在生命周期内以其为先验, 而组件参数在生命周期内也会发生改变^{[10, 11, 12]}。

传统文本建模模型大多以可交换性的基本假设为前提, 对文本数据时间与空间上的动态变化相关性考虑不周, 无法对这些具有动态性的网络数据进行有效建模。在动态数据建模的研究中, 前人的工作多分别考虑随离散时间、连续时间或地点变化的贝叶斯先验, 忽视了协变量的统一性。本文提出的贝叶斯非参数先验函数式狄利克雷过程, 可以发生任意协变量变化。在建模过程中, 利用函数定义域中取值的变化改变混合模型组件参数。在函数空间上, 通过投影和约束狄利克雷过程来获取任意协变量空间相关参数空间上的狄利克雷过程。针对函数式狄利克雷过程, 本文更进一步设计出了基于吉布斯采样的高效推演算法。仿真实验结果表明, 本文提出的将函数式狄利克雷过程作为动态非参数先验具有良好的有效性。

1 相关定义

定义1 假设α 为正实数, 概率空间Θ 上任意随机分布G, 假如对概率空间Θ 中可测变量能够有限划分随机向量(G(A₁), G(A₂), …, G(A_n)), 并且符合狄利克雷模型分布, 则其可以形式化表示为:(G(A₁), G(A₂), …, G(A_n))~Dir(G₀(A₁), G₀(A₂), …, (A_n)), 则称G为一个狄利克雷过程, 记为G~DP(α G₀)。

定义2 狄利克雷混合模型(DPM)指的是将贝叶斯层级模型的先验设置为狄利克雷过程的模型。狄利克雷混合模型主要应用范围为一些非参数聚类任务, 其优点为不用额外预先调整任务聚类数目, 该模型能够依据任务中得到的数据自主进行学习^[13]。狄利克雷混合模型表示成产生式过程为:

$\begin{matrix} \{\begin{matrix} G |α, G_{0} ~DP (α G_{0}) \\ θ_{i} |G~G \\ x_{i} |θ_{i} ~F (θ_{i}) \end{matrix} \end{matrix}$ (1)

式中:{x₁, x₂, …, x_n}代表观测到的数据信息, F(· )代表着变量为(θ ₁, θ ₂, …, θ _n)的似然方程, θ _i的选取过程为从DP中随机抽取, 符合可交换性假设。但在实际应用中这个假设并不是十分的科学合理, 因此, 本文提出协变量相关的狄利克雷过程来替换公式(1)中的G。

2 函数式狄利克雷过程

参数空间, 即狄利克雷过程组件参数概率空间由(Ω , Σ )表示, 其中协变量空间由Θ 表示。构建某个概率测度D^*时, 可以在一个可数有限的连续函数空间上进行, 而该概率测度中的某个组件都是函数, 并且这些函数是连续有限的, 把它叫做functionalatom, 即函数单元, 其中协变量空间Θ 的子空间由函数的定义域表示。任意索引Φ ∈ Θ 由协变量空间给定, 并且给定概率测度D^*, 首先, 采取重归一化和限定操作方法, 主要针对D^*, 选择函数单元f, 其中定义域包含Φ 。随后从函数空间至参数空间, 把相关函数单元投影为相应的单元f(Φ )。在这种情况下, 可获取概率测度D_Φ, 主要从概率空间Ω 得到。

通过对以上步骤的总结, 针对狄利克雷过程, 给D^*加上了一个先验, 进而得到以下公式:

$\begin{matrix} \{\begin{matrix} D^{*} = \sum_{i} p_{i} δ_{fi} ~DP (α G^{*}) \\ D_{Φ}^{*} = \frac{1}{Z_{Φ}} \sum_{i : Φ \in domain (f_{i})} p_{i} δ_{fi} \\ D_{Φ} = \frac{1}{Z_{Φ}} \sum_{i : Φ \in domain (f_{i})} p_{i} δ_{fi} \end{matrix} \end{matrix}$ (2)

通过上述公式可知, f上的概率分布由G^*表示 , 一个连续函数空间由f表示 , 其中协变量空间上的子空间为其函数的定义域, 而是G^*独立抽样, 为可数无限个, 再者, Z_Φ= $\begin{matrix} \sum_{i : Φ \in domain (f_{i})} \end{matrix}$ p_i代表归一化参数, 确保归一化概率测度在任意协变量空间上的任意一点Φ 。如例如所示, 给定无向图的全部节点集合ℝ与ℝ²共同组成协变量空间, 而ℝ中某个子集与节点子集合, 以及ℝ²中某个子集合属于其对应函数单元的定义域,

(1)边际分布

参考狄利克雷过程的性质可知^[14], 通过投影和限定操作可知对某个狄利克雷过程依然属于狄利克雷过程, 所以, D_Φ与在上述构建过程中都属于狄利克雷过程。具体得出以下引理:

引理1 在(Ω , Σ )上表示狄利克雷过程, 设D=∑ p_i $\begin{matrix} δ_{θ_{i}} \end{matrix}$ ~DP(μ )。

1)随机概率测度的计算, 通过重归一化和限定D到X上得到的值同样是DP, Ω 上的可测量子集由X⊆Ω 表示。

$\begin{matrix} \{\begin{matrix} D_{|X} \overset{Δ}{=} \frac{1}{D (X)} \sum_{θ_{i} \in X} p_{i} δ_{θ_{i}} ~DP (μ |X) \\ D (X) = \sum_{θ_{i} \in X} p_{i} \end{matrix} \end{matrix}$ (3)

2)对D进行投影, 通过可测量函数g:Ω → Ω '计算得到的概率测度同样是DP。

$\begin{matrix} \{\begin{matrix} g (D) \overset{Δ}{=} \sum_{i} p_{i} δ_{g (θ_{i})} ~DP (gμ) \\ \forall B \in Σ, gμ (B) \overset{Δ}{=} μ (g^{- 1} (B)) \end{matrix} \end{matrix}$ (4)

通过上述引理可知, 得到D_φ边际分布如下所示:

D_φ~DP(μ _φ) (5)

通过上式可知, 在(Ω , Σ )上定义的一个测度为μ _φ, 得到∀ A∈ Σ , 如下式所示:

μ _φ(A)=μ ^*({g:φ ∈ domain(g), g(φ )∈ A}) (6)

(2)动态混合模型

可用于混合模型的非参数先验为协变量相关的狄利克雷分布 $\begin{matrix} {\{D_{φ}\}}_{φ \in Θ} \end{matrix}$ 。有可能重复的索引为φ ₁, …, φ _n, 通过协变量空间形式化的给定, 观察(x₁, φ ₁), …, (x_n, φ _n)数据, 发现其来自以下产生式过程。

∀ ∈ [n], θ _i $\begin{matrix} |D_{φ_{i}} \end{matrix}$ ~ $\begin{matrix} D_{φ_{i}} \end{matrix}$ , x_i~ $\begin{matrix} F_{θ_{i}} \end{matrix}$ (· ) (7)

通过上式可知, 参数θ 的概率分布由F_θ(· )表示。对参数θ _i的混合模型的组件进行抽样计算, 计算得到观察的数据x_i, 该数据在协变量θ _i处, 通过该函数决定θ _i的具体数值, 而在表达式中已经通过积分的形式去掉了函数f_i。

3 函数基分布计算

一些专家与学者提出基于截线权值与协变量数值关系来构造动态非参数贝叶斯先验的方法^[15]。但此类构造算法中狄利克雷过程原子的坐标信息是一定值, 不能随协变量的数值变化来进行调整。也有一部分专家学者提出一类基于中国餐馆过程的构建动态非参数贝叶斯先验方法^[16], 此种方法的缺点在于只考虑协变量空间是一维实数ℝ, 应用范围不广。

在上述内容中, 利用函数空间构建协变量相关的狄利克雷过程, 介绍了一些方式方法。在机器学习过程中, 为有效应用这种构建方法, 需要使用G^*的基分布, 即Base distribution。在构建狄利克雷过程相关性时, 起到决定性作用的是基分布, 如果应用于不同的范围, 则相应的选择也不一致。

为使相关内容更为简捷, 设g:domain(g)→ Ω 为随机函数, 在协变量空间中的独立随机子集上限定整个协变量空间中的随机过程。具体内容如下:

(1)通过domain(g)关于子集的分布抽样决定函数的定义域。

(2)基过程(Base process), 即这个随机过程主要指对定义在整个协变量空间上的随机过程{go(φ )}_φ_∈_Θ进行抽样go:Θ → Ω , 得到相应的函数值, 通过{go(φ )}_φ_∈_Θ的具体实现得到go:Θ → Ω 。综上所述, 限定g=go $\begin{matrix} |domain (g) \end{matrix}$ 可得到随机函数。在此计算过程中, 可假定函数取值与定义域之间具有一定的独立性。

3.1 函数取定义域的先验分布

在具体混合模型中, 在协变量空间上, 对混合模型组件的生命期限进行刻画过程中, 利用函数的定义域进行相关计算, 所选择的协变量和具体应用具有某种联系^[17]。比如, 针对某些话题模型, 因其随时间变化而变化, 很自然地把时间当作协变量, 进而把一段时间的间隔当作函数的定义域, 与ℝ上的线段相对应, 其中线段的起始点证明这个混合模型开始产生, 而其终点则证明此混合模型组件已经消失。在应用图像分割过程中, 可将ℝ₂上的某个连续区域当作混合模型组件的生命期限。并且针对这个混合模型的生命期限构建模型, 在创建之前我们需要寻找一个合理的先验分布, 应用于函数的定义域中。

参照Kolmogrov extension theorem基本原理, 即柯尔莫哥洛夫扩展定理可知, 可对定义域的有限维边际分布进行间接利用, 对函数定义域的分布进行构建, 得到φ P_r({φ _1:_n}⊆domain(f))。选择的φ 不同, 构建的任意分布也各不相同。即可在度量为d:Ω × Ω → ℝ的协变量空间上应用与直径相关的φ 。

φ ({φ _1:_n})exp $\begin{matrix} (- y \max_{i, j \in [n]} {d (φ_{i}, φ_{j})}) \end{matrix}$ (8)

y> 0

通过上式可知, 我们可将其当作比较特殊的模型之一, 即协变量空间Θ ={1, 2, …}的动态非参数先验考虑离散的固定长度的时间段为混合模型组件的生命期限。如果将{a_i, a_i+1, …, b_i}设为协变量空间, 当满足 $\begin{matrix} |b_{i} - a_{i}| \end{matrix}$ ~Geometric(q)条件时, 马尔科夫狄利克雷过程与我们的模型相互等价, 这个过程与时间具有相关性。此结论与公式(4)~(8)的表述相同。其中d(a, b)=, γ =ln(1-q), 仅需进行简单的修改, 就可在连续协变量空间ℝ上进行推广。设[a_i, b_i)为定义域, 并且 $\begin{matrix} |b_{i} - a_{i}| \end{matrix}$ ~Exponential(q), γ =qlnq, 针对普通欧几里得协变量空间R^d, 上述公式可确保定义域的直径较小, 并且这种概率极高。

3.2 函数组件的基过程

动态混合模型的非参数先验利用函数式狄利克雷过程实现, 基过程的作用和标准狄利克雷过程混合模型中的基分布作用相似, 两者都可应用于混合模型组件的参数先验, 但是把基过程作为参数先验时, 如果给定的协变量发生变化, 则也允许参数改变。基过程的选择与标准狄利克雷过程混合模型相似, 也和具体的应用密切相关。在选择基过程时, 可选取与数据似然分布共轭的基过程。在本章节随后内容中, 重点分析应用过程中的三种共轭基过程。

3.2.1 基于常函数的基分布分析

常函数的基过程比较简单, 当协变量发生变化时, 也允许混合模型的组件参数发生变化^[18]。即∀ φ , go(φ )=c, c~H₀, 通过该式可知, Ω 上的概率分布为H₀。H₀与数据似然概率在实际应用过程中共轭时, 可设计较为简单的折叠式吉布斯采样算法。

3.2.2 基于高斯过程的基分布分析

由实数向量代表概率分布的参数, 即由θ ∈ R^M代表F_θ(x), 很自然地将会应用高斯分布描述θ 的边际分布, 协变量间的相关性通过高斯过程进行刻画。具体而言, 设定一个协方差函数K(φ , φ ^'), 一个平均函数m(φ ), 可将g₀~GP(m, K)定义为基过程。

3.2.3 相关狄利克雷分布分析

假设已知W数目, 并且数据单元为离散性质, 比如应用有限话题模型时, 假设基过程为类别模型。以此为背景, 有效应用W-单形表面, 实现对g₀(φ )的取值。由于该过程在有限的空间中, 属于一种特殊例子, 在构建相关狄利克雷分布{g(φ )}_φ_{∈ Θ}时, 可应用函数式狄利克雷过程实现, 可将Ω =[W]设为参数空间。具体而言, 假设 $\begin{matrix} {\bar{D}}^{*} \end{matrix}$ ~DP( $\begin{matrix} {\bar{μ}}^{*} \end{matrix}$ ), 在常数空间上, 由 $\begin{matrix} {\bar{μ}}^{*} \end{matrix}$ 代表有限测度。总而言之, 应用该过程计算得到相关概率测度 $\begin{matrix} {\{{\bar{D}}_{φ}\}}_{φ \in Θ} \end{matrix}$ 。通过这种方法成功构建了基过程, 该基过程主要基于相关狄利克雷分布 $\begin{matrix} ({\bar{D}}_{φ} (δ_{1}), \dots, {\bar{D}}_{φ} (δ_{W})) \end{matrix}$ ~Dir(μ _φ(δ ₁), …, μ _φ(δ _W))。得到预测分布 $\begin{matrix} θ_{φ_{n + 1}} \end{matrix} \begin{matrix} |θ_{φ_{1}} \end{matrix}$ , …, $\begin{matrix} θ_{φ_{n}} \end{matrix}$ , 实现了更加便捷的计算方式, 由此可知, 所应用的推理算法具有较高效率。

4 基于吉布斯采样的推理算法

经过观察, 假设n个数据X_1:_n的协变量分别为Φ _1:_n时, 获取划分数据是此推理算法的主要目标, 由于模型为非参数的, 此算法实际之前并不明确所划分的数目。而一个函数式狄利克雷过程实际就相当于一个划分。详细来讲, 与中国传统餐馆过程表示的餐桌分配相类似, 为要求数据的函数分配Z_1:_n 。通过对上述问题的形式化, 形成数据X_1:_n的产生式过程, 具体下述公式所示:

∀ i∈ [n], f_i $\begin{matrix} |D_{Φ_{i}}^{*} \end{matrix}$ ~ $\begin{matrix} D_{Φ_{i}}^{*} \end{matrix}$ θ _i(Φ _i), x_i~ $\begin{matrix} F_{θ_{i}} \end{matrix}$ (· ) (9)

通过上述公式可知, 在f_1:_n不重复的函数由 $\begin{matrix} f_{1 : k}^{*} \end{matrix}$ 表示, 而函数则有c_l次的发生。综上所述, 可将函数分配进行如下表示 $\begin{matrix} f_{zi}^{*} \end{matrix}$ =f_i, 即z_i∈ [K]。

4.1 预测分布

在吉布斯采样算法中, 最关键的设计为预测分布^[10]。其中x为给定的数据单元, 而Φ 属于协变量索引, 进而得到z, θ $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ 的预测分布。其主要依据为 $\begin{matrix} \{z_{1 : z (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ , 而混合狄利克雷过程, 即Mixture of Dirichlet process 为D^*的后验分布, 应当重点关注狄利克雷过程混合模型与混合狄利克雷过程的区别, 积分掉后验分布中的狄利克雷过程, 可获取预测分布。

F^*_i∈ F_l= $\begin{matrix} \overset{z_{j = 1}}{⋂_{j \in [n - 1]}} \end{matrix}$ {f:Φ _j∈ domain(f),

θ _j=f(Φ _j)}(10)

首先对D^* $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ 的后验分布进行推导, 每个函数当且仅当满足相应取值, 以及函数分配 z₁_-n。

换而言之, 对K个不同观察值给定, 并且等价于 $\begin{matrix} \{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ , 而且在集合f中包含着第l个观察, 合计发生了c_l次。可将D^* $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ D^* $\begin{matrix} |\{c_{1 : k}, F_{1 : k}\} \end{matrix}$ 进一步形式化, 值得关注的是, 每一个观察位置在传统狄利克雷过程后验分布的分析过程中都是已知的, 不过函数单元的明确位置在推导过程中并不明确, 仅仅了解到每一个观察有可能存在的区域部分。此类后验分布即称为混合狄利克雷过程^[2]。详细来讲, 给定函数为 $\begin{matrix} f_{1 : k}^{*} \end{matrix}$ , 其条件分布为P_r=( $\begin{matrix} |f_{i}^{*} \in F_{i} \end{matrix}$ ), 该函数D^*后验为DP(μ ^*+ $\begin{matrix} {\sum_{i c_{i}}}_{δ f_{i}^{*}} \end{matrix}$ ), 最终获取给定 $\begin{matrix} \{f_{i}^{*} \in F_{i}\} \end{matrix}$ 时D^*的后验分布公式如下所示:

M^* $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ = $\begin{matrix} \int_{f_{1 : k}^{*}} \end{matrix}$ [ $\begin{matrix} \prod_{i \in [K]} \end{matrix}$ Pr( $\begin{matrix} |f_{i}^{*} \end{matrix}$ ∈ F_i)]· DP $\begin{matrix} (μ^{*} + \sum_{i \in [K]} c_{i} δ f_{i}^{*}) \end{matrix}$ d $\begin{matrix} f_{1 : K}^{*} \end{matrix}$ (11)

随后对 $\begin{matrix} {\{D_{Φ}\}}_{Φ \in Θ} \end{matrix} \begin{matrix} |\{Z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ 的后验分布进行推导, 其中对任意的θ ∈ Φ 给定了 $\begin{matrix} f_{1 : K}^{*} \end{matrix}$ , 对D^*的后验分布进行投影和约束, 最后将 $\begin{matrix} f_{1 : K}^{*} \end{matrix}$ 积分掉, 得到D_Φ的后验分布, 最终获取的混合狄利克雷过程的后验分布公式如下所示:

M^* $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ = $\begin{matrix} \int_{f_{1 : k}^{*}} \end{matrix}$ [ $\begin{matrix} \prod_{i \in [K]} \end{matrix}$ Pr( $\begin{matrix} |f_{i}^{*} \end{matrix}$ ∈ F_i)]DP· $\begin{matrix} (μ_{Φ} + \sum_{i \in [K]} c_{i} t_{f_{i}^{*}}^{(Φ)} δ f_{i}^{*} (Φ)) \end{matrix}$ d $\begin{matrix} f_{1 : K}^{*} \end{matrix}$ (12)

通过上述公式可知, 指示变量为 $\begin{matrix} t_{{f^{*}}_{i}}^{(Φ)} \end{matrix}$ = $\begin{matrix} δ_{Φ \in domain (f_{i}^{*})} \end{matrix}$ 。

虽然, 很多狄利克雷过程的混合为D_Φ, 在给定θ 的情况下, 全部Φ ∈ domain(f)=θ 的函数, f对θ 的影响是相同的。我们在这种情况下可对公式(12)进行简化, 得到下述公式:

M^*= $\begin{matrix} \underset{t_{1 : K}^{(Φ)}}{E} \end{matrix} \begin{matrix} [DP (μ_{Φ} + \sum_{i} t_{i}^{(Φ)} c_{i} δ_{θ_{i}^{(Φ)}})] \end{matrix}$ · $\begin{matrix} t_{i}^{(Φ)} \end{matrix}$ Bemoulli( $\begin{matrix} q_{i}^{(Φ)} \end{matrix}$ ), $\begin{matrix} θ_{i}^{(Φ)} \end{matrix} \begin{matrix} T_{i}^{(Φ)} \end{matrix}$ (· )(13)

通过G^*推导 $\begin{matrix} T_{i}^{(Φ)} \end{matrix}$ 和 $\begin{matrix} q_{i}^{(Φ)} \end{matrix}$ , 得到下述公式:

$\begin{matrix} \{\begin{matrix} q_{i}^{(Φ)} = \underset{G^{*}}{\Pr} (Φ \in domain (f) |f \in F_{i}) \\ T_{i}^{(Φ)} (dθ) = \underset{G*}{\Pr} (f (Φ) = \\ θ |Φ \in domain (f), f \in F_{i}) \end{matrix} \end{matrix}$ (14)

按照独立性假设原则, 对上述公式进一步简化, 如下式所示:

$\begin{matrix} q_{i}^{(Φ)} \end{matrix}$ =Pr(Φ ∈ domain(f) $\begin{matrix} |\{Φ_{1 : (n - 1)}\} \end{matrix}$ ⊆domain(f))= $\begin{matrix} \frac{ψ (\{Φ_{1 : (n - 1)}, Φ\})}{ψ (\{Φ_{1 : (n - 1)}\})} \end{matrix}$ (15)

$\begin{matrix} T_{i}^{(Φ)} \end{matrix}$ (dθ )=Pr(f(Φ )=θ $\begin{matrix} |f (Φ_{1}) \end{matrix}$ =θ _1,, …, f(Φ _n-₁)=θ _n-₁) (16)

根据上述条件, 可积分掉公式(13)中的狄利克雷过程, 进而获得如下所示的预测分布z, θ $\begin{matrix} |\{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ :

z $\begin{matrix} |\{Z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} \end{matrix}$ = $\begin{matrix} \underset{t_{1 : K}^{(Φ)}, θ_{1 : K}^{(Φ)}}{E} \end{matrix} \begin{matrix} [\frac{μ_{Φ} (Ω) δ_{K + 1} + \sum_{i \in [K]} t_{i}^{(Φ)} c_{i} δ_{i}}{μ_{Φ} (Ω) + \sum_{i \in [K] t_{i}^{(Φ)} c_{i}}}] \end{matrix}$ (17)

对i∈ [K]得出下述公式:

$\begin{matrix} \{\begin{matrix} t_{i}^{(Φ)} \overset{iid}{~} Bernoulli (q^{(Φ)}) \\ θ_{i}^{(Φ)} \overset{iid}{~T} {(φ)}_{i} (\cdot) \\ θ |z, \{z_{1 : (n - 1)}, θ_{1 : (n - 1)}\} = T_{z}^{(Φ)} (\cdot) \end{matrix} \end{matrix}$ (18)

在上述公式中, δ _K+₁代表着对某个新的函数进行分配 , 而如上述两个公式中的 $\begin{matrix} q_{i}^{(Φ)} \end{matrix}$ 和 $\begin{matrix} T_{i}^{(Φ)} \end{matrix}$ 所示。

辅助变量为 $\begin{matrix} t_{1 : K}^{(Φ)} \end{matrix}$ , $\begin{matrix} θ_{1 : K}^{(Φ)} \end{matrix}$ , 但无须积分掉, 我们采用预测分布的方式采样, 其辅助变量的物理意义非常清晰, 某个随机事件由Z $\begin{matrix} t_{i}^{(Φ)} \end{matrix}$ ~Bernoulli(q_i)代表:其中Φ _1:(_n-₁₎包含在已知函数的定义域中。某个随机变量由 $\begin{matrix} t_{i}^{(Φ)} \end{matrix}$ ~Bernoulli(qi)表示, 与给定f(Φ _i)=θ _i时的随机变量f(Φ )相互等价。

4.2 吉布斯采样

通过吉布斯采样法可对全部函数的z_1:_n, z_i∈ [K]进行分配 , 其中函数的数目由K代表, 伴随迭代过程的进行, K的取值也将发生改变。另外, 通过吉布斯采样, 还能够对不同函数出现的次数c_0:_K进行维护, 而每次迭代为c_j= $\begin{matrix} |\{z_{i} = j\}| \end{matrix}$ , 利用此算法可重新采样全部的z_1:_n, 对每一个函数出现的次数进行更新。以下为Z_n采样方法, 包括赋值至协变量Φ _n及数据单元x_n上。

(1) 辅助变量采样:针对每个k∈ [K]中, 对 $\begin{matrix} t_{k}^{(Φ_{n})} \end{matrix}$ ~Bernoulli( $\begin{matrix} q_{k}^{(Φ_{n})} \end{matrix}$ )进行采样, 进一步明确的定义域是否存在Φ _n, 针对 $\begin{matrix} q_{k}^{(Φ_{n})} \end{matrix}$ 的定义与公式(4)~(14)相同。

(2) 一般采样赋值:针对每个k∈ [K], 对 $\begin{matrix} θ_{k}^{(Φ_{n})} \end{matrix}$ ~ $\begin{matrix} T_{k}^{(Φ_{n})} \end{matrix}$ (· )p(z_n=k)¥ $\begin{matrix} t_{k}^{(Φ_{n})} \end{matrix}$ c_k $\begin{matrix} F_{θ_{k}^{(Φ_{n})}} \end{matrix}$ (x_i)进行采样, 其中p(z_n=k)¥ $\begin{matrix} t_{k}^{(Φ_{n})} \end{matrix}$ c_k $\begin{matrix} F_{θ_{k}^{(Φ_{n})}} \end{matrix}$ (x_i)为分配至已存在函数的概率, 而p(z_n=k+1)¥ $\begin{matrix} μ_{Φ_{n}} \end{matrix}$ (Ω )F(x_n)为分配至新函数的概率, 而基过程在Φ _n处的边际分布为F(x_n) $\begin{matrix} E_{θ~ H_{Φ_{n}}} \end{matrix}$ (· )(f_θ(x_n))和 $\begin{matrix} H_{Φ_{n}} \end{matrix}$ (· )。

(3)折叠采样赋值:对F与G^*进行适当的选择, 可积分掉参数 $\begin{matrix} θ_{1 : k}^{(Φ_{n})} \end{matrix}$ , 对折叠采样算法进行设计。针对全部观察数据, 其中数据x_n由函数产生的概率表示如下式所示:

F(x_n $\begin{matrix} {|\{x_{j}\}}_{z_{j} = k} \end{matrix}$ )

$\begin{matrix} \frac{\int_{θ_{k}^{(Φ_{n})}} F_{θ_{k}^{(Φ_{n})}} (x_{n}) \prod_{z = k} F_{ζ_{k}^{(Φ_{n})}} (x_{j}) p (θ_{k}^{(Φ_{n})}) d θ_{k}^{(Φ_{n})}}{\int_{θ_{k}^{(Φ_{n})}} \prod_{z = k} F_{ζ_{k}^{(Φ_{n})}} (x_{j}) p (θ_{k}^{(Φ_{n})}) d θ_{k}^{(Φ_{n})}} \end{matrix}$ (19)

对一个已存在的函数概率P(z_n=k)¥ $\begin{matrix} t_{k}^{(Φ_{n})} \end{matrix}$ c_kF(x_i $\begin{matrix} {|\{x_{j}\}}_{z_{j} = k} \end{matrix}$ )进行分配, 而对新函数概率的分配没有变化。上文中讨论的3种基过程都可以采用基于折叠采样的推演算法。

5 仿真实验与结果分析

5.1 通过模拟数据进行实验

针对已改进的高斯混合模型进行模拟实验。模拟产生了两个高斯组件。再参照泊松分布原理, 即新的高斯组件通过每一个时间片段产生数目平均可为0.4个。采用几何分布形式, 设定组件生命周期平均值为5, 并且平均值呈布朗运动变化态势, 方差为1。可对30个时间片段进行模拟实验, 依据当前组件, 将每个时间片段进行独立抽样, 抽样的数据点为200个。并可应用函数式狄利克雷过程混合模型, 聚类产生的相关数据, 将时间片段设为协变量。将平均值为零的高斯过程设为基过程, 其中式(8)为函数定义域分布。应用吉布斯采样算法, 进行5000次的迭代运算, 得到聚类的结果数据。

度量真实结果与聚类结果间的差异, 可应用信息差异Variation of information^[19]实现, 再对所提模型进行评测, 其中信息差异定义如下式所示:

d_VI(C₁, C₂)=H(C₁)+H(C₂)-2I(C₁, C₂) (20)

对比两种基线方法, 即对比DPM标准狄利克雷过程混合模型与马尔科夫狄利克雷过程混合(Markov-DPM)模型可知。协变量空间在以上设置中的时间片段是离散的, 两个过程相互等价。两者间的差异性在于推理算法的不同, 其中函数式狄利克雷过程应用的推理算法为批处理法, 而马尔科夫狄利克雷过程混合模型应用的推理算法为序列采样法。

由图1所示实验结果可知, 每一时间片段的信息差异值显示在上半部分, 每一时间片段真实聚类数目显示在下半部分。对比结果表明, 与Markov-DPM相比, M-DPM在所有时间点的表现更具优势, 主要原因在于批处理推理算法可应用全局信息, 比Markov-DPM序列采样算法更具优势。与此同时, 由于应用动态数据构建模型更加科学, 与标准狄利克雷过程混合模型DPM的表现相比, Markov-DPM与M-DPM的优点更多。综上所述, 利用M-DPM得到的结果聚类数目与真实结果更贴近, 与标准DPM聚类结果相比, 具有明显的优势。

	Figure Option View Download New Window
	图1 模拟数据的聚类实验结果比较Fig. 1 Comparison of clustering results of simulated data

5.2 M-DPM和DPM发现话题的数目对比实验

实验重点对1987年~2001年NIPS会议论文中的话题时间线进行分析^[11]。该论文集共包含的文章有2484篇, 属于公开的数据集。每一个话题在话题模型中都与单词分布相关, 每篇文章也都与话题分布相关。我们的话题先验利用了函数式狄利克雷过程, 在时间办变量上, 每一个话题都存在一个生命周期, 至少包含一个起点和终点, 话题的分布在起点与终点间随时间的变化而变化。对生命期限的先验分布进行设置, 设指数分布的参数为0.6, 相关狄利克雷分布为基分布。图2显示了本实验针对1987年~2001年NIPS会议论文中的话题时间线的挖掘结果, 由实验结果可知, 发现产生了新的话题, 而已存在的话题不见了, 伴随时间的变化, 每一个话题权重最高的关键词也在改变。

	Figure Option View Download New Window
	图2 话题时间线挖掘结果Fig.2 Result of mining time series

然后针对对数似然L=logp(w_heldout $\begin{matrix} |m_{trained} \end{matrix}$ )计算并且保留, 对于话题模型的评测方法来说, 这是非常标准的^[20]。总而言之, 训练话题模型时, 应用了90%的单词, 而测试使用了余下的数据。与标准狄利克雷过程混合模型对比可知, 表1所示为实验结果。即在似然的评测上, 函数式狄利克雷过程混合模型比标准狄利克雷过程的混合模型更具有优势。

表1 M-DPM和DPM发现话题的数目 Table 1 M-DPM and DPM find the number of topics

因标准狄利克雷混合模型不考虑地点信息, 经过比较, 如表1所示, 显示出了DPM在3个数据集上发现话题的数目, 以及M-DPM在3个数据集上发现话题的数目。经过对比可知, 与DPM话题数目相比, M-DPM发现话题的数目更多一些, 这是比较合理的情况, 由于M-DPM对地点信息进行了认真的考虑, 进一步约束了话题的范围, M-DPM所发现的话题具有更清晰的意义。

5.3 M-DPM和DPM似然性对比实验

在实验中, 对函数式狄利克雷过程挖掘随空间变化的话题性能进行评测。在相关网站中对与GPS信息相关的图片标签数据进行抓取, 并且对3个数据集进行抓取, 具体包括National Park, Activities 以及Landscape。为了分析过程更加方便, 本文只把在美国领域范围内的GPS信息照片进行保留, 并且把某些低频标签去除, 这些低频标签出现的次数少于15次。最终分别得到了1505个图片, 11 868个图片, 2109个图片的3个数据集, 以及3个标签, 分别为2313个标签, 2381个标签, 2374个标签。

另外, 表2为M-DPM与DPM两者比较的结果, 我们采用似然性量化法, 对M-DPM随空间变化在话题模型上的表现进行评测。从表中数据可知, 与应用狄利克雷过程做先验的话题模型相比, 应用函数式狄利克雷过程做先验的话题模型优势更多一些。

表2 比较似然性 Table 2 Comparative likelihood

6 结束语

本文提出了一种改进的主要基于函数式DPM模型过程动态推荐模型。该模型对传统狄克雷混合模型在动态数据建模方面的问题进行改进, 创建相关狄利克雷过程的参数与协变量空间联系, 同时狄利克雷过程仍然属于边际分布。应用函数式狄利克雷过程, 可针对产生、消失以及参数改变的混合模型组件进行有效建模, 并可作为动态先验融入非参数混合模型。仿真实验结果表明, 与应用传统狄利克雷过程做先验的话题推荐模型相比, 本文提出的推荐算法优势更加明显。

The authors have declared that no competing interests exist.

参考文献

View Option

[1]	解男男, 胡亮, 努尔布力, 等. 基于Web日志挖掘的网页推荐方法[J]. 吉林大学学报: 理学版, 2013, 51(2): 267-272. Xie Nan-nan, Hu Liang, Nurbolz, et al. Web recommender system based on Web lob minim[J]. Journal of Jilin University(Science Edition), 2013, 51(2): 267-272. [本文引用:1]
[2]	董立岩, 王越群, 贺嘉楠, 等. 基于时间衰减的协同过滤推荐算法[J]. 吉林大学学报: 工学版, 2017, 47(4): 1268-1272. Dong Li-yan, Wang Yue-qun, He Jia-nan, et al. Collaborative filtering recommendation algorithm based on time decay[J]. Journal of Jilin University(Engineering and Technology Edition) 2017, 47(4): 1268-1272. [本文引用:2]
[3]	Jiang J, Lu J, Zhang G, et al. Scaling-up item-based collaborative filtering recommendation algorithm based on hadoop[C]∥Services, IEEE, 2011: 490-497. [本文引用:1]
[4]	Chen W, Niu Z, Zhao X, et al. A hybrid recommendation algorithm adapted in e-learning environments[J]. World Wide Web, 2014, 17(2): 271-284. [本文引用:1]
[5]	Qiu T, Chen G, Zhang Z K, et al. An item-oriented recommendation algorithm on cold-start problem[J]. EPL, 2011, 95(5): 58003. [本文引用:1]
[6]	Lin K, Wang J, Wang M, et al. A hybrid recommendation algorithm based on Hadoop[D]. Institute of Electrical and Electronics Engineers Inc. 2014. [本文引用:1]
[7]	Zhang J, Peng Q, Sun S, et al. Collaborative filtering recommendation algorithm based on user preference derived from item domain features[J]. Physica A Statistical Mechanics & Its Applications, 2014, 396(2): 66-76. [本文引用:1]
[8]	Zhong Z, Sun Y, Wang Y, et al. An improved collaborative filtering recommendation algorithm not based on item rating[C]∥IEEE, International Conference on Cognitive Informatics & Cognitive Computing. IEEE, 2015: 230-233. [本文引用:1]
[9]	Lu Z, Shen H. A security-assured accuracy-maximised privacy preservingcollaborative filtering recommendation algorithm[C]∥Proceedings of the 19th International Database Engineering & Applications Symposium, Yokohama, Japan, 2015: 72-80. [本文引用:1]
[10]	Huang Y M, Kuo Y H, Chen J N, et al. NP-miner: a real-time recommendation algorithm by using web usage mining[J]. Knowledge-Based Systems, 2006, 19(4): 272-286. [本文引用:2]
[11]	邓爱林, 左子叶, 朱扬勇. 基于项目聚类的协同过滤推荐算法[J]. 小型微型计算机系统, 2004, 25(9): 1665-1670. Deng Ai-lin, Zuo Zi-ye, Zhu Yang-yong. Collaborative filtering recommendation algorithm based on item clustering[J]. Mimi-micro Systems, 2004, 25(9): 1665-1670. [本文引用:2]
[12]	Huang Z, Zeng D, Chen H. A comparison of collaborative-filtering recommendation algorithms for E-commerce[J]. Intelligent Systems of IEEE, 2007, 22(5): 68-78. [本文引用:1]
[13]	严宇宇, 陶煜波, 林海. 基于层次狄利克雷过程的交互式主题建模[J]. 软件学报, 2016(5): 1114-1126. Yan Yu-yu, Tao Yu-bo, Lin Hai. Interactive topic modeling based on hierarchical Dirichlet Process[J]. Journal of Software, 2016(5): 1114-1126. [本文引用:2]
[14]	Caron F, Davy M, Doucet A. Generalized polya urn for time-varying Dirichlet process mixtures[C]∥Proceedings of Proc of UAI’07, Corvallis, Oregon, 2007: 33-40. [本文引用:1]
[15]	Caron F, Davy M, Doucet A. Generalized Polya Urn for time-varying Dirichlet process mixtures[J]. 2012. [本文引用:1]
[16]	Rabaoui A, Viand ier N, Duflos E, et al. DPMs for the density estimation in a dynamic nonlinear modeling: application to GPS positioning in urban canyons[J]. IEEE Transactions on Signal Processing, 2012, 60: 1638-1655. [本文引用:1]
[17]	Blei D M, Frazier P. Distance dependent Chinese restaurant processes[C]∥Proceedings of Proc of ICML’10Haifa, Israel, 2010: 87-94. [本文引用:1]
[18]	Zhang M, Hurley N. Avoiding monotony: improving the diversity of recommendation lists[C]∥Proceedings of Proceedings of the 2008 ACM Conference on Recommender Systems, ACM, 2008: 123-130. [本文引用:1]
[19]	Xu M, Zhu J, Zhang B. Fast max-margin matrix factorization with data augmentation[C]∥Proceedings of the 30th International Conference on Machine Learning (ICML-13), 2013: 978-986. [本文引用:1]
[20]	Li L, Chu W, Langford J, et al. Unbiased offline evaluation of contextual-band it-based news article recommendation algorithms[J]. Wsdm, 2012: 297-306. [本文引用:1]

2013

0.0

. 2013, 51(2):267-272 DOI:doi:10.7694/jdxblxb20130224

Nurbolz,et al. Web recommender system based on Web lob minim

基于Web日志挖掘的网页推荐方法

Xie Nan-nan , Hu Liang

解男男, 胡亮, 努尔布力

针对传统单纯聚类算法实现网页推荐精确度欠缺的问题,提出一种基于Web日志挖掘的个性化网页推荐模型,并实现了相应的网页推荐算法,算法结合聚类分析和关联规则挖掘,能有效实现网页推荐.实验结果表明,在保障网页页面推荐覆盖率的条件下,该方法有较高的精确度、有效性和实用性.

... 0 引言选择模型在机器学习过程中一直属于研究热点以及研究难点^[1] ...

2017

0.0

. 2017, 47(4):1268-1272 DOI:doi:10.13229/j.cnki.jdxbgxb201704036

Collaborative filtering recommendation algorithm based on time decay

基于时间衰减的协同过滤推荐算法

Dong Li-yan , Wang Yue-qun , He Jia-nan

董立岩, 王越群, 贺嘉楠

摘　要：针对传统的协同过滤算法在计算相似度时未考虑时间因素的影响,导致推荐结果不准确的问题,本文提出将时间因素融入用户项目评分矩阵中,以解决兴趣衰减的问题。首先将遗忘曲线和记忆周期作为时间因素融入算法之中,将艾宾浩斯遗忘曲线用于指数函数拟合,从而获得时间与兴趣衰减的函数关系,以此用于优化用户项目的评分。并将改进的评分矩阵应用到基于项目的协同过滤推荐算法中进行推荐。在评分中加入记忆周期的影响,让目标用户对待预测的项目评分预测更为准确。实验结果表明,改进后的基于时间衰减协同过滤算法在准确性方面有显著的提高。

... 近几年,贝叶斯非参数模型在相关领域如文本建模型领域^[2]和推荐系统^[3]等的作用越发重要 ...

... 此类后验分布即称为混合狄利克雷过程^[2] ...

2011

0.0

... 近几年,贝叶斯非参数模型在相关领域如文本建模型领域^[2]和推荐系统^[3]等的作用越发重要 ...

2014

0.0

... 作为混合模型组件的先验,DP狄利克雷过程混合模型与参数型话题模型比较接近:在狄利克雷分布中隐含狄利克雷分配作用^[4] ...

2011

0.0

... 一些该领域的专家学者做了一些改进传统混合模型考虑组件动态性的相关工作研究^[5],大部分都考虑话题在时间上的动态性,比如,由Lin等^[6]提出的马尔科夫模型,对话题在离散时间协变量上的相关性处理就主要基于马尔科夫链的狄利克雷过程^[7] ...

2014

0.0

2014

0.0

2015

0.0

... 空间与时间相关性事实上也是有关联性的^[8] ...

2015

0.0

... 两者从这个意义上讲是一致的^[9] ...

2006

0.0

... 在给定协变量空间上我们可以考虑创建相关狄利克雷过程,混合模型的组件在生命周期内以其为先验,而组件参数在生命周期内也会发生改变^[10,11,12] ...

... 1 预测分布在吉布斯采样算法中,最关键的设计为预测分布^[10] ...

2004

0.0

. 2004, 25(9):1665-1670

Collaborative filtering recommendation algorithm based on item clustering

基于项目聚类的协同过滤推荐算法

Deng Ai-lin , Zuo Zi-ye , Zhu Yang-yong.

邓爱林, 左子叶, 朱扬勇

... 2 M-DPM和DPM发现话题的数目对比实验实验重点对1987年~2001年NIPS会议论文中的话题时间线进行分析^[11] ...

2007

0.0

. , 2016(5):1114-1126

Interactive topic modeling based on hierarchical Dirichlet Process

基于层次狄利克雷过程的交互式主题建模

Yan Yu-yu , Tao Yu-bo , Lin Hai.

严宇宇, 陶煜波, 林海

随着信息技术的快速发展,大量的文本数据产生、被收集和存储.主题模型是文本分析的重要工具之一,被广泛地应用于分析大规模文本集.然而,主题模型通常无法直观而有效地结合用户的领域专业知识对模型结果进行修正.针对这一问题,提出了一个交互式可视分析系统,帮助用户对主题模型进行交互修正.首先对层次狄利克雷过程进行了改进,使其支持单词约束;然后,使用矩阵视图对主题模型进行展示,并使用语义相关的词云布局帮助用户寻找单词约束,用户通过添加单词约束迭代优化主题模型;最后,通过案例分析及用户研究来评价该系统的可用性.

... 一些专家学者为了在某种程度上解决这一问题,创建了贝叶斯非参数模型^[13] ...

... 狄利克雷混合模型主要应用范围为一些非参数聚类任务,其优点为不用额外预先调整任务聚类数目,该模型能够依据任务中得到的数据自主进行学习^[13] ...

2007

0.0

... 参考狄利克雷过程的性质可知^[14],通过投影和限定操作可知对某个狄利克雷过程依然属于狄利克雷过程,所以,D_{#cod#x003a6 ...}

2012

0.0

... 3 函数基分布计算一些专家与学者提出基于截线权值与协变量数值关系来构造动态非参数贝叶斯先验的方法^[15] ...

2012

0.0

... 也有一部分专家学者提出一类基于中国餐馆过程的构建动态非参数贝叶斯先验方法^[16],此种方法的缺点在于只考虑协变量空间是一维实数ℝ,应用范围不广 ...

2010

0.0

... 1 函数取定义域的先验分布在具体混合模型中,在协变量空间上,对混合模型组件的生命期限进行刻画过程中,利用函数的定义域进行相关计算,所选择的协变量和具体应用具有某种联系^[17] ...

2008

0.0

... 常函数的基过程比较简单,当协变量发生变化时,也允许混合模型的组件参数发生变化^[18] ...

2013

0.0

... 度量真实结果与聚类结果间的差异,可应用信息差异Variation of information^[19]实现,再对所提模型进行评测,其中信息差异定义如下式所示: ...

2012

0.0

... 然后针对对数似然L=logp(w_heldoutmtrained)计算并且保留,对于话题模型的评测方法来说,这是非常标准的^[20] ...