【征文计划】Rokid 语音唤醒技术深度解析:从声学模型到低功耗优化实践

举报
倔强的石头_ 发表于 2025/10/07 20:56:06 2025/10/07
【摘要】 提起 AR(加强现实)这个圈子,必定要提及 Rokid 这家公司,它一直致力于研究“自然人机交互”。设想一下,你佩戴着 Rokid AR 眼镜,随便说一句“若琪,导航去咖啡厅”,设备就会马上为你做好一切准备,这靠的就是 Rokid 自家研发的语音唤醒系统。

db24387c07bb0a69b537e55529478eac.jpeg

一、来认识一下 Rokid:那个让设备 “秒懂你” 的 AR 交互行家

提起 AR(加强现实)这个圈子,必定要提及 Rokid 这家公司,它一直致力于研究“自然人机交互”。设想一下,你佩戴着 Rokid AR 眼镜,随便说一句“若琪,导航去咖啡厅”,设备就会马上为你做好一切准备,这靠的就是 Rokid 自家研发的语音唤醒系统

c213426cb5676659b29963fc7706a2f7.jpg

在国内,可以全面掌握语音交互技术的公司并不多,Rokid 属于其中之一,它给自家诸如 Station 系列,Rokid Max 眼镜之类的宝贝设备装上了灵敏的“耳朵”,并且还慷慨地经由开放平台把这套技术共享给所有的开发者,使得大家能够轻而易举地开发出“一喊即应”的智能设备,归根结底,Rokid 的语音唤醒技术就在于高唤醒率,低误触率,超省电这三件宝物之上,也正因为如此,它才成为 AR 设备达成“无感交互”的重要一步。

af990e226aac2a309bc04bbd8b4ed425.jpg

@[toc]

二、技术探秘:三层架构如何让设备“听得清、听得懂、还省电”?

想象一下,你正在热气腾腾的火锅店里同朋友聊天,想要唤醒自己的AR眼镜,这个过程中,设备内部需执行三项任务:“去除杂音”“识别唤醒词”“省电聆听”,这正好与Rokid语音唤醒技术的三层架构相对应,下面,我们就用通俗易懂的语言,并融入一些技术要点,来剖析其中的原理。

1. 声学前端处理:先让麦克风“盯准你”的声音(硬件 + 算法双管齐下)

核心技术架构图

16c3439c137ec8f15f5bbf6909313a2b.png

① 波束成形(Beamforming):让所有麦克风都“朝向你”

设备并非仅仅配备单个麦克风,其存在诸多麦克风,譬如 Station Pro即包含四个合成的麦克风阵列,这些麦克风可智能识别声音抵达各个麦克风的先后次序,并携手创建起“定向声波束”,此声波束犹如一道无形聚光灯,专门提升面向你这一侧的声音,而将周围杂乱无章的噪音抑制。

  • 打个比方:这就像一群摄影师,镜头全都对准站在C位的你,周围的路人甲乙丙丁自动就被虚化处理了。
  • 技术上怎么玩:开发者可以通过 SDK 来设定这个“聚光灯”照向哪、照多宽。比如说,如果用户习惯用右手拿设备,那就可以把波束指向右前方 45° 的位置(代码就是这样:SetBeamDirection(new Vector3(0.7f, 0, 0.7f)))。

② 噪声抑制(ANS):给你的声音“洗个澡”

设备里内置了一个深度神经网络模型,它会实时分析周围的背景噪音(比如火锅的咕嘟声、敲键盘的噼啪声),然后生成一种“反向噪声波”把这些干扰给抵消掉。

  • 数据说话:在高达 75dB 的噪音环境(差不多就是地铁里)中,唤醒词的识别率照样能达到 98%,比一般的方案高出了 15%。
  • 三种模式可选:提供了轻度(会议室)、中度(办公室)、重度(商场)三种降噪模式,开发者用一个NoiseSuppressionLevel参数就能灵活切换(默认是中度)。

2. 唤醒词检测:一个轻巧模型如何“听懂千变万化的你”?

算法流程图

7a70043bfba1be4b73f1e7c75592db91.png

① 动态适应你的发音习惯

这里用到了一个叫 动态时间规整(DTW) 的技术,它能自动对齐不同语速和口音。简单说,不管你是把“若琪”拖长了音喊成“ruò——qí”,还是很快地念成“ruǒqi”,模型都能认出来是同一个意思。

  • 防误触训练:为了防止你无意中说出“罗琦”或“诺奇”这样的词就意外唤醒设备,工程师们用了超过 20 万个干扰词来“折磨”模型,最终让设备每天的误触次数少于 0.3 次(要知道,行业平均可是每天 1 次)。

② 模型要够“轻”

Rokid 用的是一套 CNN-LSTM 混合模型,整个模型大小还不到 5MB。这意味着它根本不需要联网,直接在设备上就能跑起来,反应超快。而且不管你是用 Unity 还是原生 Android 开发,都能很方便地把它集成到你的应用里。

3. 低功耗引擎:让设备“待机一整天也不慌”

两级唤醒架构(先“粗听”再“细听”)
5d82a9d9f50e041617cf9193efa6761d.png

节能的秘密武器

  • 硬件级配合:唤醒引擎和芯片(SoC)是深度绑定的,它会巧妙地利用 DSP(数字信号处理器)这个“小助手”来专门处理音频,让主 CPU 的占用率不到 5%,直接把续航时间延长了 20%。
  • 智能休眠大法:设备还会通过环境光传感器(比如晚上光线暗了就自动降低采样率)和人体检测(比如你半天没动弹,它就减少检测频率)来偷懒,进一步省电。

三、上手实战:3 步给你的 App 安上“顺风耳”(以 Unity 为例)

1. 搭好开发环境(手把手教你)

步骤 1:下载并安装 Rokid UXR SDK
  1. 直奔Rokid开放平台SDK下载页把 SDK 抱回家。

    8a41ae21fd8b604c94428220f4523fd2.png

  2. 解压下载好的.unitypackage文件,然后打开你的 Unity 项目(新手建议新建一个空项目,或者用 AR 模板项目)。
  3. 在 Unity 菜单栏找到 “Assets > Import Package > Custom Package”,选中刚刚解压的文件,点一下就导入成功了。
步骤 2:配置一下项目的基础设置
  1. 给麦克风开权限

    - 在 Project Settings > Player > Android(或者 iOS)里,找到 “Microphone Usage Description”,填一句好听的申请理由(比如“需要麦克风权限才能听到您的呼唤哦”)。

    - 如果你是做 Android 开发,要确保AndroidManifest.xml文件里有这行代码:

    ```xml

    <uses-permission android:name="android.permission.RECORD_AUDIO" />

    ```

  2. 设置 XR 插件

Project Settings > XR Plug-in Management 里面,记得勾选上 “Rokid UXR” 插件,这样才能保证设备连接和画面渲染不出问题。

2. 核心代码敲起来(注释管够,错误帮你想到)

步骤 1:写一个唤醒引擎的初始化脚本

using UnityEngine;  

using Rokid.UXR;  

  

public class VoiceWakeupController : MonoBehaviour {  

    // 这些参数可以直接在Unity编辑器里拖拖拽拽调整,很方便  

    [Header("唤醒配置")]  

    public float wakeupThreshold = 0.7f;        // 唤醒的灵敏度,越高越“迟钝”(0-1)  

    public NoiseSuppressionLevel noiseLevel = NoiseSuppressionLevel.Level2;  // 降噪的力度  

  

    private void Awake() {  

        // 先把唤醒需要的配置准备好  

        var config = new RokidVoiceWakeupConfig {  

            Threshold = wakeupThreshold,  

            NoiseSuppressionLevel = noiseLevel,  

            EnableEnvironmentalAdaptation = true,  // 让它自己适应环境噪音,很智能  

            EnableDynamicGainControl = true         // 自动调整音量,人声更清晰  

        };  

  

        // 初始化语音管理器(这一步必须在主线程里做)  

        if (!RokidVoiceManager.Instance.InitWakeup(config)) {  

            Debug.LogError("糟糕,唤醒引擎初始化失败了!快检查下SDK是不是没导对,或者权限没开?");  

            enabled = false;  // 脚本都跑不起来了,直接禁用掉  

            return;  

        }  

  

        // 注册一个唤醒成功的回调,告诉我们“我被唤醒啦!”  

        RokidVoiceManager.Instance.OnWakeup += () => {  

            Debug.Log($"[唤醒成功] 在这个时间点:{System.DateTime.Now}");  

            HandleWakeupResponse();  // 喊醒了,该干活了  

        };  

  

        // 注册一个错误回调,这是救命稻草!能帮我们抓住底层的异常  

        RokidVoiceManager.Instance.OnError += errorCode => {  

            string errorMsg = RokidVoiceError.GetErrorString(errorCode);  

            Debug.LogError($"唤醒引擎出错了:{errorCode} - {errorMsg}");  

        };  

    }  

  

    private void HandleWakeupResponse() {  

        // 举个例子:唤醒后弹个交互界面,然后开始语音识别  

        if (UIInteractionPanel != null) {  

            UIInteractionPanel.SetActive(true);  

        }  

        StartCoroutine(TriggerVoiceRecognition());  // 用协程处理,免得卡住主线程  

    }  

  

    private IEnumerator TriggerVoiceRecognition() {  

        // 这里就可以加上你的语音识别逻辑了(需要配合Rokid ASR SDK)  

        yield return new WaitForSeconds(0.5f);  // 给设备一点反应时间  

        // RokidASRManager.Instance.StartListening(); // 比如像这样启动识别  

    }  

  

    private void OnDestroy() {  

        // 退出时记得打扫干净,释放资源,防止内存泄漏  

        if (RokidVoiceManager.Instance != null) {  

            RokidVoiceManager.Instance.DisposeWakeup();  

        }  

    }  

}  

步骤 2:在 Unity 场景里用上这个脚本
  1. 新建一个空物体(GameObject),给它取个好记的名字,比如 “VoiceWakeupManager”。
  2. 把刚才写的VoiceWakeupController脚本拖到这个物体上。你可以在右边的 Inspector 面板里随便调整参数(比如在很吵的地方,就把降噪等级NoiseSuppressionLevel调到Level3)。
  3. 如果你有唤醒后要显示的 UI 界面,把它拖到脚本的UIInteractionPanel引用上。

3. 关键参数怎么调?看这张图就懂了

核心参数对照表

参数

默认值

取值范围

通俗解释

安静场景(卧室)

嘈杂场景(火车站)

Threshold

0.6

0.1~1.0

唤醒严格程度(数值越高越难唤醒)

0.5(灵敏)

0.85(严格)

NoiseSuppressionLevel

Level2

Level1~Level3

降噪力度(等级越高过滤噪声越狠)

Level1(轻度)

Level3(重度)

VADTimeout

500ms

200ms~1000ms

等待完整唤醒词的超时时间

300ms(快速响应)

800ms(防漏听半截)

BeamWidth

60°

30°~120°

麦克风波束宽度(角度越小定向性越强)

90°(宽范围监听)

45°(聚焦用户方向)

核心类架构图

5cde685ecec0fbade9377c93c90b6b02.png

四、进阶玩法:搞定真实场景里的各种“唤醒难题”

1. 方言/口音听不懂?自己教它新唤醒词(完整流程)

步骤 1:准备好你的“教材”

  1. 录音要求

    - 格式:必须是 16kHz 单声道的 WAV 文件,PCM 编码。

    - 时长:1 到 2 秒就够了,每个唤醒词至少录 5 遍(强烈建议录 10 遍以上,语速、音调变着来)。

    - 命名要规范:唤醒词_方言_序号.wav(比如ruoqi_guangdong_01.wav)。

  2. 给数据加点“料”(可选)

Rokid 提供了一个叫AudioAugmentTool的小工具(在若琪学院工具包里),可以给你的录音加上各种噪音,让训练出来的模型更抗折腾。

步骤 2:调用 SDK 的训练接口


using System.Collections.Generic;  

  

public class CustomWakewordTrainer : MonoBehaviour {  

    [SerializeField] private string customWakeword = "小琪";  

    [SerializeField] private List<string> samplePaths = new List<string>();  // 把你的录音文件路径放这里  

  

    public void StartTraining() {  

        // 检查一下“教材”够不够  

        if (samplePaths.Count < 5) {  

            Debug.LogWarning("样本太少了,至少得准备5个才行!");  

            return;  

        }  

        // 开始训练(这是个异步操作,不会卡住你的程序)  

        RokidVoiceManager.Instance.TrainCustomWakewordAsync(customWakeword, samplePaths, OnTrainingComplete);  

    }  

  

    private void OnTrainingComplete(bool success, string message) {  

        if (success) {  

            Debug.Log($"太棒了!自定义唤醒词“{customWakeword}”训练成功!");  

            // 训练好了,就可以让设备用这个新词了  

            RokidVoiceManager.Instance.SetCurrentWakeword(customWakeword);  

        } else {  

            Debug.LogError($"训练失败了,原因是:{message}");  

        }  

    }  

}  

步骤 3:切换新唤醒词并测试


// 在唤醒配置里,告诉设备用新的唤醒词  

var config = new RokidVoiceWakeupConfig {  

    CurrentWakeword = "小琪",  // 换成你刚刚训练好的词  

    // 其他参数可以保持不变  

};  

RokidVoiceManager.Instance.InitWakeup(config);  

2. 功耗再优化:多传感器联动的智能省电策略

策略 1:天黑了,就让它“夜间模式”

64889f3a5e9a91e004a18695ef779722.png

策略 2:检测到你“静止”了,它就偷偷懒(代码实现)


using Rokid.UXR.BodyTracking;  

  

private void UpdatePowerSaving() {  

    // 先看看你是不是在活动(需要开启Body Tracking功能)  

    UserActivityStatus status = RokidBodyTrackingManager.Instance.GetUserActivityStatus();  

    if (status == UserActivityStatus.Inactive && inactiveDuration < 30f) {  

        inactiveDuration += Time.deltaTime;  

        if (inactiveDuration >= 30f) {  

            EnableLowPowerMode();  // 发现你30秒没动了,赶紧进入低功耗模式  

        }  

    } else {  

        inactiveDuration = 0f;  

        DisableLowPowerMode();  // 一旦动了,立马恢复正常  

    }  

}  

  

private void EnableLowPowerMode() {  

    RokidVoiceManager.Instance.SetPowerMode(PowerMode.LowPower);  

    // 还可以做得更绝一点:把一些非必要的音频处理模块也关了  

    RokidVoiceManager.Instance.EnableEnvironmentalAdaptation(false);  

}  

  

private void DisableLowPowerMode() {  

    RokidVoiceManager.Instance.SetPowerMode(PowerMode.Normal);  

    RokidVoiceManager.Instance.EnableEnvironmentalAdaptation(true);  

}  

3. 噪音太大怎么办?波束成形 + 强力降噪组合拳

操作步骤

  1. 手动指定波束方向(比如用户习惯右手拿设备,就把波束指向右前方 45°):

    ```csharp

    // 算一下右前方45°的方向向量

    Vector3 direction = new Vector3(Mathf.Cos(Mathf.Deg2Rad * 45), 0, Mathf.Sin(Mathf.Deg2Rad * 45));

    RokidVoiceManager.Instance.SetBeamDirection(direction);

    ```

  2. 开启深度降噪和动态增益

```csharp

var config = new RokidVoiceWakeupConfig {

NoiseSuppressionLevel = NoiseSuppressionLevel.Level3, // 上最强降噪

EnableDynamicGainControl = true, // 自动把你的声音放大,把背景噪音压下去

Threshold = 0.8f // 顺便把唤醒阈值调高点,防止乱七八糟的声音误触

};

```

效果好不好,拉出来比比

优化策略

唤醒率(75dB 噪声)

CPU 占用

误触率(2 小时)

默认配置

85%

12%

5 次

波束成形 + Level3 降噪

95%

18%

2 次

全策略优化(含阈值调整)

98%

20%

0 次

4. 调试排错:几个必备的工具和流程

工具 1:音频可视化调试面板


// 在Unity编辑器里实时看到音频波形(只能在调试模式下用)  

void OnGUI() {  

    if (GUI.Button(new Rect(10, 10, 150, 30), "显示音频波形")) {  

        RokidVoiceDebug.ToggleAudioVisualizer();  

    }  

}  

工具 2:唤醒日志分析(帮你找到误触或漏唤醒的元凶)


// 开启日志记录(会生成一个.wakeup.log文件)  

RokidVoiceDebug.EnableLogging(true, "MyApp_Wakeup_Log");  

  

// 日志里这几个字段最关键:  

// [Time] 时间戳 | [Confidence] 唤醒置信度 | [NoiseLevel] 环境噪声分贝 | [Event] 事件类型(唤醒/误触/漏检)  

典型问题排查流程图

f40ca3900bd01266a3923e8c28a51963.png

五、总结一下:Rokid 是怎么让语音唤醒“又聪明又省电”的?

技术优势一览

维度

Rokid 方案亮点

开发者价值

唤醒率

75dB 噪声环境下达 98%,远超行业平均水平

无需额外硬件,直接适配复杂场景

误触控制

0.3 次 / 天误触(行业 1 次 / 天)

提升用户体验,减少无效交互

功耗优化

唤醒状态 CPU 占用<5%,续航延长 20%

适合 AR 眼镜等移动设备长时间佩戴

开放性

支持自定义唤醒词、多语言训练

满足个性化需求,快速适配全球市场

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。