别再只会关键词搜索了：一文带你用 LDA / NMF 玩转“主题建模”

说句实在话，我第一次接触“主题建模”的时候，是被业务逼的。

那会儿做内容分析，面对几十万条文本数据：

• 用户评论
• 舆情数据
• 文章内容

领导一句话：

👉 “帮我总结一下这些人在聊啥”

我当时脑子是懵的：

👉 总结？几十万条？人工看？那我直接辞职算了。

后来我才发现，有一类技术特别适合干这事：

👉 主题建模（Topic Modeling）

今天这篇，我就用最接地气的方式，带你把两大主流方法：

• LDA（Latent Dirichlet Allocation）
• NMF（Non-negative Matrix Factorization）

讲清楚 + 用代码跑起来。

一、主题建模到底在干啥？

先别急着看算法，我们先把本质说清楚。

👉 主题建模干的事，其实就一句话：

从一堆文本里，自动找出“大家在聊哪些主题”。

比如你有一堆评论：

今天天气不错
股票涨了真开心
大盘又跌了
天气好适合出去玩

模型可能会帮你分成：

• 主题1：天气（天气、出去、不错）
• 主题2：股票（股票、大盘、涨跌）

👉 注意：

它不是“理解语义”，而是基于词的共现关系做统计推断。

二、LDA：最经典但也最“玄学”的方法

1. 核心思想（用人话说）

LDA 的思路其实很有意思：

👉 一篇文章 = 多个主题混合
👉 一个主题 = 一堆词的概率分布

比如一篇文章：

• 70% 是“科技”
• 30% 是“金融”

而“科技主题”里：

• AI：0.3
• 算法：0.2
• 数据：0.1

👉 这就是概率模型。

2. 实战代码（Python）

我们用 sklearn 快速跑一个 LDA：

from sklearn.decomposition import LatentDirichletAllocation
from sklearn.feature_extraction.text import CountVectorizer

# 示例文本
docs = [
    "今天 天气 很 好",
    "股票 今天 上涨",
    "大盘 下跌 投资 风险",
    "天气 晴朗 适合 出游"
]

# 1. 文本向量化（词频）
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(docs)

# 2. LDA 模型
lda = LatentDirichletAllocation(n_components=2, random_state=42)
lda.fit(X)

# 3. 查看主题
words = vectorizer.get_feature_names_out()

for idx, topic in enumerate(lda.components_):
    print(f"主题 {idx}:")
    print([words[i] for i in topic.argsort()[-5:]])

👉 输出类似：

主题0: ['天气', '出游', '晴朗']
主题1: ['股票', '大盘', '投资']

3. LDA 的优缺点（很真实）

优点：

• 解释性强（概率模型）
• 适合学术 / NLP基础研究

缺点：

👉 参数太敏感：

• 主题数选多少？
• alpha / beta 怎么调？

👉 跑起来慢（尤其大数据）

👉 对短文本不友好（比如评论）

三、NMF：更“工程化”的替代方案

说实话，如果你是做工程而不是写论文：

👉 我更推荐你用 NMF。

1. 核心思想（更直观）

NMF 干的事情其实是：

👉 把“词-文档矩阵”拆成两个矩阵：

文档-主题  ×  主题-词

而且要求：

👉 所有值 ≥ 0（非负）

这点非常关键：

👉 让结果更容易解释

2. 实战代码（推荐用这个）

from sklearn.decomposition import NMF
from sklearn.feature_extraction.text import TfidfVectorizer

docs = [
    "今天 天气 很 好",
    "股票 今天 上涨",
    "大盘 下跌 投资 风险",
    "天气 晴朗 适合 出游"
]

# 1. TF-IDF（比词频更好）
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(docs)

# 2. NMF 模型
nmf = NMF(n_components=2, random_state=42)
nmf.fit(X)

words = vectorizer.get_feature_names_out()

for idx, topic in enumerate(nmf.components_):
    print(f"主题 {idx}:")
    print([words[i] for i in topic.argsort()[-5:]])

👉 输出和 LDA 类似，但更稳定。

3. 为什么我更推荐 NMF？

说点实战经验：

👉 在真实业务里：

👉 一句话总结：

LDA 更像“研究工具”，NMF 更像“生产工具”。

四、一个真实应用场景（你肯定用得到）

比如你在做：

👉 评论分析 / 舆情分析

流程可以这样：

Step 1：清洗文本

import re

def clean(text):
    return re.sub(r"[^\w\s]", "", text)

Step 2：跑 NMF

（上面代码直接用）

Step 3：给主题打标签（人工一步）

比如：

• 主题0 → “天气类”
• 主题1 → “金融类”

👉 后面就可以：

• 做趋势分析
• 做聚类
• 做推荐

五、一个很多人忽略的关键点（非常重要）

👉 主题数怎么选？

很多人随便写：

n_components=5

这其实是拍脑袋。

正确思路：

👉 多试几个：

for k in [2, 3, 5, 10]:
    ...

看：

• 主题是否清晰
• 是否重复
• 是否有业务意义

👉 本质是：

这是“人 + 算法”的协同问题，不是纯算法问题。

六、我自己的一个观点（掏心窝子）

这几年很多人一上来就：

👉 BERT
👉 GPT
👉 embedding

但说实话：

👉 在“主题分析”这种场景：

LDA / NMF 这种传统方法，依然非常能打。

为什么？

• 简单
• 可解释
• 成本低
• 不依赖大模型

很多时候你只需要：

👉 “知道大家在聊啥”

而不是：

👉 “理解每句话的深层语义”

七、再往前一步（进阶建议）

如果你想再提升一点：

👉 可以尝试：

1. 结合词向量（Word2Vec / embedding）
2. 用 BERTopic（新一代主题模型）
3. 动态主题分析（时间维度）

但我建议：

👉 先把 NMF 跑明白，再升级

结尾

主题建模这个东西，说复杂也复杂，说简单也很简单。

但它真正厉害的地方在于：

👉 帮你从“信息洪水”里提炼结构。

当你面对：

• 几十万条评论
• 上百万条日志
• 海量文本数据

你会发现：

👉 人看不动，但模型可以。

最后送你一句我自己的总结：

👉 LDA 是统计学家的浪漫，NMF 是工程师的现实。

选哪个，不取决于“哪个更高级”，
而取决于：

👉 你要解决什么问题。