HDP消息传递算法

王杰; 严建峰; 刘晓升; 杨璐

Chinese

您当前的位置：

首页 >

文章列表页 >

HDP消息传递算法

更新时间：2026-09-04

- HDP消息传递算法
- Belief Propagation Algorithm for HDP
- 微电子学与计算机 2016年33卷第3期页码：144-149
- 作者机构：
  
  苏州大学计算机科学与技术学院,江苏,苏州,215006
- 作者简介：
- 基金信息：
  
  国家自然科学基金 61373092国家自然科学基金 61033013国家自然科学基金 61272449国家自然科学基金 61202029江苏省教育厅重大项目 12KJA520004江苏省科技支撑计划重点项目 BE2014005广东省重点实验室开放课题 SZU-GDPHPCL-2012-09
- DOI：
  中图分类号：
- 纸质出版：2016
- 稿件说明：
移动端阅览
王杰, 严建峰, 刘晓升, 杨璐. HDP消息传递算法[J]. 微电子学与计算机, 2016, 33(3): 144-149, 154.

WANG Jie, YAN Jian-feng, LIU Xiao-sheng, et al. Belief Propagation Algorithm for HDP[J]. 2016, 33(3): 144-149.
王杰, 严建峰, 刘晓升, 杨璐. HDP消息传递算法[J]. 微电子学与计算机, 2016, 33(3): 144-149, 154. DOI：

WANG Jie, YAN Jian-feng, LIU Xiao-sheng, et al. Belief Propagation Algorithm for HDP[J]. 2016, 33(3): 144-149. DOI：

摘要

分层狄利克雷过程(HDP)可以视为潜在狄利克雷分配(LDA)主题模型在无参方面的扩展

解决了传统主题模型中选择主题数目的问题.消息传递算法则是从消息因子图模型的角度出发进而解决贝叶斯后验概率推断问题.提出将消息传递算法应用到分层狄利克雷过程模型上的方案

并从最大期望算法的角度来证明该算法的收敛性

最终从混淆度的角度将该算法与传统算法进行对比.实验结果表明消息传递算法在混淆度方面相比其他算法有明显的优势

且收敛速度较快.

Abstract

The hierarchical Dirichlet process (HDP) model is an extension of the latent Dirichlet allocation(LDA)on the aspect of non-parametric in order to solve the problem of setting number of the topics. Belief propagation algorithm is an algorithm based on the factor graph model to inference the Bayesian posterior probability. In our paper

we propose to apply the belief propagation algorithm on the HDP model

and prove the convergence of the algorithm from the view of expectation maximization algorithm. Comparing with other algorithms

the belief propagation algorithm based on HDP is better than others in accuracy measured by perplexity

关键词

Keywords

references

Paisley J W, Zaas A K, Woods C W, et al. A stick-breaking construction of the beta process[C]//Proceedings of the 27th International Conference on Machine Learning. Haifa, Isreal: IEEE, 2010.

BleiD M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. The Journal of Uachine Learning Research, 2003, 3(1): 993-1022. DOI: 993

Teh Y W, Kurihara K, Welling M. Collapsed variational inference for HDP[C]//Advances in neural information processing systems. [s. l. ]: IEEE, 2007.

Gershman S J, Blei D M. A tutorial on Bayesian nonparametric models[J]. Journal of Mathematical Psychology, 2012, 56(1): 1-12. DOI: 1

HannaA M, Wallach M, David M Mimmo. Rethinking lda: Why priors matter[C]// Annual Conference on Neural Information Processing Systems. Vancouver: Curran Associates, 2009: 1973-1981.

Zeng J, Cheung W K, Liu J. Learning topic models by belief propagation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(5): 1121-1134. DOI: 1121

周建英, 王飞跃, 曾大军. 分层Dirichlet过程及其应用综述[J]. 自动化学报, 2011, 37(4): 389-408. DOI: 389

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向处理器分支预测单元的Spectre攻击轻量化防御方法

AlN/GaN混合缓冲层双异质结p-GaN HEMT直流特性仿真

大模型发展综述：从BERT到Deepseek的技术演进

基于反向体偏置的高增益稳定性高温运放设计

基于改进RT-DETR的航拍小目标检测算法