通俗理解lda主题模型（lda主题模型文本分类）



一、LDA整体思想

        LDA主题模型主要用于推测文档的主题分布，可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题聚类或文本分类。LDA主题模型不关心文档中单词的顺序，通常使用词袋特征（bag-of-word feature）来代表文档。

LDA模型认为主题可以由一个词汇分布来表示，而文章可以由主题分布来表示。

        比如有两个主题，美食和美妆。LDA说两个主题可以由词汇分布表示，他们分别是：

        同样，对于两篇文章，LDA认为文章可以由主题分布这么表示：

《美妆日记》{美妆：0.8，美食：0.1，其他：0.1}

《美食探索》{美食：0.8，美妆：0.1，其他：0.1}

        所以想要生成一篇文章，可以先以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某个单词，不断重复这两步就可以生成最终文章。

将文档集中每篇文档的主题以概率分布的形式给出，通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。

它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。此外，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

二、如何生成文档

在LDA模型中，一篇文档生成的方式如下：

• 从狄利克雷分布alpha中取样生成文档 i 的主题分布θi
• 从主题的多项式分布θi中取样生成文档i第 j 个词的主题zij
• 从狄利克雷分布beta中取样生成主题zij对应的词语分布φzij
• 从词语的多项式分布φzij中采样最终生成词语wij

其中，类似Beta分布是二项式分布的共轭先验概率分布，而狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验概率分布。

 具体公式逻辑参考：

一文详解LDA主题模型 - 知乎

通俗理解LDA主题模型_lda模型_v_JULY_v的博客-CSDN博客

二、Python实现

LDA主题模型简介及Python实现_阿丢是丢心心的博客-CSDN博客

基于LDA和baidu-aip的舆情分析项目-腾讯云开发者社区-腾讯云

基于LDA和baidu-aip的舆情分析项目-腾讯云开发者社区-腾讯云

本文主要分为数据获取（微博爬虫）、文本分析（主题抽取、情感计算）。项目场景：以微博为数据源，分析新冠疫苗舆情的主题演化和情感波动趋势，结合时事进行验证，从而得出特殊事件对于舆情的特定影响，为突发公共事件的社交媒体舆情合理引导提供建议。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/bcyy/74733.html