新手语音入门（二）： 声音检测VAD与话者分离技术简述 ｜检测错误率 | 准确率 | 召回率 | 分离错误率DER

1. 声音检测 Voice Activity Detection

声音检测常用的指标是识别错率（Detection Error Rate）,公式为

$$Detection \ Error \ Rate = \frac {False Alarm \ + Missed \ Detection}{Total \ Duration \ of \ the \ Time}$$

其中

• False Alarm, 将非语音片段识别成为语音片段的时间，简称“狼来了”；
• Missed Speech, 将语音片段识别成为非语音片段的时间，简称“脱靶”；
• Total Duration of the Time, 参考语音标注片段的总时长。

同时，声音检测也可以使用正确率（Accurancy, 预测值将输入标签识别正确的比例），召回率（Recall，预测值中的语音片段占整体语音片段的比例）和准确率（Precision， 检测出来的语音标签中真正的语音标签的比例）。

2. 话者分离 Speaker Diarization

2.1. 定义

说话人分离（Speaker Diarization）,指将语音按照说话人ID分类，解决“Who spoke when”的问题。

语音会被划分为说话人组，语音非语音的片段或说话人转变等事件会被检测出来。在实际分离过程中，不需要知道说话人是谁。

图1 话者分离常见Pipeline

2.2 用途

• 会议。
• 庭审。
• 广播。
• 质检。
• 语音助手。

2.3. 评价标准

话者分离常用的指标是分离错误率（Diarization Error Rate, DER）, 指三种错误类型的总和：

$$DER = \frac{False \ Alarm + Missed + Speaker \ Confusion}{Total \ Duration \ of \ the \ Time}$$

其中

• False Alarm, 将非语音片段识别成为语音片段的时间；
• Missed Speech, 将语音片段识别成为非语音片段的时间；
• Speaker Confusion, 预测语音与参考语音的时间；
• Total Duration of the Time, 参考语音标注片段的总时长。

Speaker Confusion的部分一般由匈牙利算法（Hungarian Algorithm）计算得来。并且常使用Score Collar加到音频片段的边际，以减少不连续标注引起的错误。

2.4. 话者分离难点

1. 事先不知道有多少个说话人；
2. 不清楚说话人的ID；
3. 多人同时说话；
4. 不同语音的音频条件都不同。

参考

1. pyannote metrics 参考文档