ASR 模型输出
一、ASR 模型输出的基本形态
很多人对 ASR 的理解停留在"输入音频,输出文字"的层面。但如果你真正在产品中使用过 ASR,你会发现模型的输出至少包含以下几类信息:
| 输出类型 | 说明 | 典型用途 |
|---|---|---|
| 转录文本 | 识别出的完整文字 | 字幕生成、会议记录 |
| 词级时间戳 | 每个词的起止时间 | 卡拉OK字幕、视频配音对齐 |
| 置信度分数 | 模型对每个词/句的把握程度 | 质量筛选、人机协作审核 |
| 语言/方言标识 | 检测到的语言种类 | 多语言路由 |
| 非语言事件 | 填充词、笑声、停顿等 | 对话系统意图理解 |
| 说话人标识 | 谁在说这段话 | 会议纪要分人记录 |
一个真实的 ASR API 响应可能长这样(以 JSON 为例):
{
"text": "今天天气真不错,我们去爬山吧",
"segments": [
{
"id": 0,
"start": 0.32,
"end": 2.18,
"text": "今天天气真不错",
"words": [
{"word": "今天", "start": 0.32, "end": 0.78, "probability": 0.98},
{"word": "天气", "start": 0.82, "end": 1.24, "probability": 0.96},
{"word": "真", "start": 1.28, "end": 1.52, "probability": 0.91},
{"word": "不错", "start": 1.56, "end": 2.18, "probability": 0.94}
]
},
{
"id": 1,
"start": 2.45,
"end": 3.88,
"text": "我们去爬山吧",
"words": [
{"word": "我们", "start": 2.45, "end": 2.88, "probability": 0.97},
{"word": "去", "start": 2.92, "end": 3.10, "probability": 0.99},
{"word": "爬山", "start": 3.14, "end": 3.56, "probability": 0.93},
{"word": "吧", "start": 3.60, "end": 3.88, "probability": 0.88}
]
}
],
"language": "zh"
}
可以看到,输出是一个分层结构:整体文本 → 分段 → 词级细节。下面我们逐一拆解。
二、转录文本:最核心但也最容易误解的输出
2.1 标点与大小写
不同模型对标点的处理策略差异很大:
- Whisper 系列:内置标点预测能力,输出自带逗号、句号、问号。
- Wav2Vec2 / Conformer:很多预训练模型不输出标点,需要后接一个独立的标点恢复模型(Punctuation Restoration)。
- 中文 ASR:部分模型输出不带标点的纯文字,部分通过 CTC 解码后规则添加。
实践建议:如果你的下游应用对标点敏感(比如做 NLP 意图识别),务必确认 ASR 模型是否输出标点,以及标点质量如何。我见过不少项目因为假设"ASR 总是带标点",结果下游 NLP 效果大打折扣。
2.2 数字格式
“二零二四年” 还是 “2024年”?“一百二十块” 还是 “120块”?
这是 ASR 输出中一个容易被忽视但影响很大的问题:
- 口语化数字(“一百二十”):更忠实于语音,适合对话系统。
- 阿拉伯数字(“120”):更适合信息抽取、表单填充。
很多商业 ASR 服务提供了 数字格式 参数来控制这个行为。开源模型则需要你在后处理中自己做数字归一化(Text Normalization, TN)。
2.3 填充词与非语言事件
真实的语音里充满了"嗯"、“啊”、"那个"等填充词,以及笑声、咳嗽声等非语言事件。不同模型的处理方式:
| 策略 | 示例输出 | 适用场景 |
|---|---|---|
| 保留所有填充词 | “嗯 那个 今天 天气 不错” | 对话分析、说话人风格研究 |
| 过滤填充词 | “今天天气不错” | 字幕生成、会议纪要 |
| 标记为特殊 token | [FILLER] 今天天气不错 |
需要区分但不想保留原文 |
Whisper 默认有一个 no_speech_threshold 参数来过滤静音段,但填充词的处理需要你在应用层决定。
三、时间戳:对齐的基石
3.1 句级 vs 词级 vs 字符级
时间戳的粒度直接决定了你能做什么:
- 句级时间戳(Segment-level):每句话一个起止时间。够用于粗略字幕分段,不够用于逐字高亮。
- 词级时间戳(Word-level):每个词一个起止时间。卡拉OK式逐字高亮、视频自动配音对口型都需要这个。
- 字符级时间戳(Character-level):中文场景下比词级更细,适合精确的逐字动画。
3.2 时间戳是怎么来的?——不同架构的原理
CTC 模型(如 Wav2Vec2):
CTC(Connectionist Temporal Classification)在解码过程中天然产生对齐信息。模型对每一帧音频输出一个字符概率分布,CTC 解码器将 blank 标签之间的重复字符合并,blank 标签的位置就给出了时间边界。所以 CTC 模型的时间戳是"免费"的——解码时自然得到。
音频帧: f1 f2 f3 f4 f5 f6 f7 f8 f9 f10
输出: 今 今 - 天 天 - 不 不 错 -
↑ ↑ ↑ ↑ ↑
0.0s 0.2s 0.4s 0.6s 0.8s
Attention / Seq2Seq 模型(如 Whisper):
Seq2Seq 模型不天然产生对齐。Whisper 使用了一种巧妙的方法:它在训练数据中加入了时间戳 token(<|0.00|>, <|1.50|> 等),让模型学会在输出文本的同时预测时间戳。但这意味着时间戳的精度受限于训练数据中时间戳 token 的粒度(Whisper 的时间戳 token 每 0.02 秒一个)。
RNN-T 模型(如 Conformer-Transducer):
RNN-T 的解码过程也产生对齐信息,原理类似 CTC 但更精细。RNN-T 在每一步决定是输出一个 token 还是"等待"更多音频输入(emit blank),这个决策序列就隐含了时间对齐。
3.3 时间戳不准确的常见原因
在实际项目中,时间戳偏移是最常见的 ASR 问题之一。原因包括:
- 音频预处理不一致:如果推理时做了 VAD(语音活动检测)裁剪,但没有把裁剪的时间偏移加回去,时间戳会整体偏移。
- 模型本身的精度限制:Whisper 的时间戳精度是 20ms 级别,对于需要帧级精度的场景(如精确对口型)可能不够。
- 边界模糊:连续语流中,词与词之间的边界并不清晰。"今天天气"到底在哪里切分?不同模型可能给出不同的边界。
- 长音频漂移:某些模型在长音频(>30秒)上时间戳会逐渐漂移,越到后面偏差越大。
实践建议:如果你的应用对时间戳精度要求高(比如音游、精确字幕),建议:
- 优先选择 CTC 或 RNN-T 架构的模型,时间戳更可靠。
- 对长音频做分段推理,每段不超过 30 秒。
- 在应用层做时间戳校准(比如用 forced alignment 做二次对齐)。
四、置信度分数:该信还是不该信?
4.1 置信度是什么?
理想情况下,置信度分数反映了模型对某个输出"有多确定"。0.99 表示"我很确定这是对的",0.3 表示"我也不太确定"。
但现实远比这复杂。
4.2 不同模型的置信度含义不同
CTC 模型的置信度:通常是解码路径上各帧概率的几何平均。这个分数相对可靠,因为每一帧的输出都有明确的概率含义。但它倾向于对短词给出更高分数(几何平均的副作用)。
Attention 模型的置信度:是输出序列每一步 token 概率的乘积(或平均)。问题在于 Attention 模型存在"过度自信"现象——即使错了也可能给出很高的分数。
Whisper 的 confidence:Whisper 官方实现中,avg_logprob 是对数概率的平均值,但它并不总是良好校准的。研究表明 Whisper 在以下情况置信度不可靠:
- 音频质量差时(模型"自信地"输出错误文本)
- 语音中有重口音或方言时
- 音频包含模型训练时没见过的领域术语时
4.3 如何使用置信度
不要做的事:
- 不要用置信度做硬阈值过滤(“置信度 < 0.5 就丢弃”)——因为不同模型、不同音频条件下分数分布差异巨大,没有通用阈值。
- 不要把置信度当准确率——0.8 的置信度不意味着 80% 的准确率。
建议做的事:
- 相对排序:用置信度对多个识别结果排序,优先审核低置信度的部分。
- 人机协作:将低置信度的片段标记为"待人工确认",高置信度的直接采用。
- 结合多信号:置信度 + 音频信噪比 + 说话人重叠检测,综合判断输出质量。
- 校准:如果你有标注数据,可以用 Platt Scaling 或 Isotonic Regression 对置信度做校准,使其更接近真实准确率。
五、输出格式选型指南
5.1 常见 ASR 服务的输出对比
| 服务/模型 | 文本 | 词级时间戳 | 置信度 | 说话人 | 非语言事件 |
|---|---|---|---|---|---|
| OpenAI Whisper | ✅ | ✅ (via DTW) | ⚠️ (logprob) | ❌ | ✅ |
| FunASR (Paraformer) | ✅ | ✅ | ✅ | ✅ (需配模型) | ✅ |
| WeNet | ✅ | ✅ | ✅ | ❌ | ❌ |
| Kaldi | ✅ | ✅ | ✅ | ✅ (需配模型) | 可配置 |
| 华为云 ASR | ✅ | ✅ | ✅ | ✅ | ✅ |
5.2 根据应用场景选输出
字幕生成:
- 需要:词级时间戳 + 标点
- 不需要:填充词
- 建议:过滤填充词,用词级时间戳做逐句分段,每句不超过 15 字符以保证可读性。
会议纪要:
- 需要:说话人标识 + 句级时间戳 + 标点
- 建议:保留所有内容(包括填充词,可用于分析发言习惯),按说话人分段输出。
语音助手 / 对话系统:
- 需要:纯文本(无填充词)+ 置信度
- 建议:过滤填充词和非语言事件,低置信度时触发"请您再说一遍"的澄清策略。
实时流式字幕:
- 需要:增量输出 + 低延迟
- 注意:流式 ASR 的输出会"回改"——前面已经输出的文字可能被修正。你的前端需要支持增量更新和回改逻辑,不能假设输出是"只追加"的。
六、流式 vs 非流式:输出的关键差异
这是一个经常踩坑的点。
非流式(离线)ASR:一次性输入完整音频,输出最终结果。输出是稳定的、不会变化的。
流式(实时)ASR:边听边输出,输出是动态的、可能被修正的。
流式 ASR 的输出有一个关键概念:端点检测(Endpointing)。模型需要判断一句话是否说完了,这直接影响输出的完整性。
时间轴: 0s ---- 1s ---- 2s ---- 3s ---- 4s ---- 5s
流式输出:
t=1s: "今天"
t=2s: "今天天气" ← 追加
t=2.5s: "今天天气真" ← 追加
t=3s: "今天天气真好" ← 追加
t=3.2s: "今天天气真不错" ← 回改!"好"→"不错"
t=5s: [endpoint] "今天天气真不错" ← 最终结果
回改发生的原因:模型在收到更多音频后,重新评估了之前的输出。这在基于 Attention 的流式模型中尤其常见。
实践建议:如果你的前端是实时字幕显示,务必实现"回改"逻辑——不是简单地在末尾追加文字,而是支持替换之前输出的部分文字。否则用户会看到"今天天气真好不错"这样的错误显示。
七、后处理:从 ASR 输出到可用数据
ASR 的原始输出很少能直接用于下游任务。常见的后处理步骤:
7.1 文本归一化(TN)
原始输出: "我花了三百二十块钱买了两个苹果"
归一化后: "我花了320块钱买了2个苹果"
TN 的规则因语言和领域而异。中文 TN 需要处理:
- 数字:中文数字 → 阿拉伯数字
- 日期:“二零二四年三月” → “2024年3月”
- 货币:“三百块” → “300元”
- 标点:补全缺失的标点
7.2 逆文本归一化(ITN)
有时候你需要反方向操作——把 “2024年” 变成 “二零二四年”(比如 TTS 输入)。这通常用另一套规则或模型实现。
7.3 热词修正
领域术语经常被 ASR 识别错。比如医疗场景中"阿莫西林"可能被识别为"阿莫西零"。
热词修正的几种方式:
- 解码时 bias:在解码过程中给热词更高的概率(需要模型支持)。
- 后处理替换:用编辑距离匹配做替换。简单但可能误替换。
- LM rescoring:用领域语言模型对多个候选结果重新打分。
八、调试 ASR 输出的实用技巧
当 ASR 输出不符合预期时,以下调试方法很有用:
-
听原始音频:听起来是废话,但很多"ASR 错误"其实是音频质量问题—— clipping、底噪、回声。先排除音频质量因素。
-
检查采样率:大多数 ASR 模型期望 16kHz 单声道。如果你传入 44.1kHz 的音频,有些模型会静默重采样(可能引入质量损失),有些会直接报错。
-
对比不同模型:同一段音频跑 2-3 个模型,如果都错,大概率是音频问题;如果只有一个错,是模型问题。
-
可视化注意力/CTC 对齐:如果你能拿到模型的中间输出,画出对齐矩阵,能直观看到模型"听到"了什么。
-
检查时间戳连续性:如果词级时间戳出现重叠(后一个词的 start 早于前一个词的 end),说明对齐出了问题。
# 简单的时间戳一致性检查
def check_timestamps(words):
issues = []
for i in range(1, len(words)):
if words[i]["start"] < words[i-1]["end"]:
issues.append(f"重叠: '{words[i-1]['word']}' 和 '{words[i]['word']}'")
if words[i]["start"] > words[i]["end"]:
issues.append(f"反转: '{words[i]['word']}' start > end")
return issues
- 点赞
- 收藏
- 关注作者
评论(0)