lda主题模型困惑度（lda主题模型困惑度一直下降）



lda主题模型困惑度_⾃然语⾔处理（2）主题模型LDA （1数学

基础篇）

1前⾔

要想彻底搞明⽩ LDA 的实现原理，就需要具备⼀定的数学基础。LDA ⽤到的数学知识包括：

⼀个公式和两个概念：贝叶斯公式、共轭分布和共轭先验

⼀个函数：gamma 函数

四个分布：⼆项分布、多项分布、beta 分布、dirichlet 分布

⼀个采样：gibbs 采样

下⾯将分别对这⼏个部分作介绍。

2⼀个公式和两个概念

先来看⼀下贝叶斯公式：

表⽰未知参数，X 表⽰样本

1. 先验概率：在事件尚未发⽣前，对该事件发⽣概率的估计。利⽤过去历史资料计算出来得到的先验概率叫做客观先验概率；凭主观经

验来判断⽽得到的先验概率叫做主观先验概率。

2. 后验概率：通过调查或其它⽅式获取新的附加信息，利⽤贝叶斯公式对先验概率进⾏修正后⽽得到的概率。

3. 似然函数：给定模型参数

的条件下，样本数据服从这⼀概率模型的相似程度。

4. 先验分布：反映在进⾏统计试验之前根据其他有关参数知识得到的分布。也就是说在观测获取样本之前，⼈们对

已经有⼀些知识，此时这个

的分布函数为

，

的概率密度函数为

，分别称为先验分布函数和先验概率密度函数，统称先验分布。

5. 后验分布：根据样本 X 的分布以及

的先验分布

，采⽤求解条件概率的⽅式可以计算出已知 X 的条件下，

的条件分布

。因为该分布是在获取样本 X 之后计算出来的，所以称为后验分布。

6. 共轭分布和共轭先验：在贝叶斯概率理论中，如果后验概率

和先验概率

满⾜同样的分布律，那么，先验分布和后验分布被叫做

共轭分布。同时，先验分布叫做似然函数的共轭先验分布共轭分布 共轭先验分布。

3 ⼀个函数

gamma 函数定义如下：

，gamma 函数可以看作阶乘在实数集上的拓展，对于正整数 n，具有如下性质：

。

4 四个分布

4.1 ⼆项分布

⼆项分布是从伯努利分布推导出来的。伯努利分布，⼜称两点分布或0-1分布，是⼀个离散型的随机分布，其中的随机变量只有两种取值，

⾮正即负{+,−}。⽽⼆项分布即重复 n 次伯努利试验，记为 X∽B(n,p) 。简⾔之，只做⼀次实验，是伯努利分布，重复做了 n 次，是⼆项

分布。⼆项分布的概率密度函数为：

，其中

，是⼆项分布的系数。

⼀个典型的例⼦就是抛硬币，我们做 n 次实验，有 k 次为正⾯的概率。

4.2 多项分布

多项分布是⼆项分布在多维上的推⼴，是指单次试验中随机变量的取值不再是 0-1 ，⽽是有多种离散值。⽐如掷骰⼦，有 6 个⾯，n 次试

验结果服从 k=6 的多项分布。其中 k 个离散值的概率满⾜：

。多项分布的概率密度函数为：

其中

表⽰随机变量

发⽣的次数，

表⽰随机变量

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/bcyy/54047.html