让AI听懂“宫商角徵羽”：基于Qwen2-Audio的传统音乐语义解析系统实战

一个能够辨别古琴“羽”音、解析京剧“宫调转徵调”的AI系统是如何炼成的？

当传统五声音阶遇上现代大模型，AI不仅“听见”了音乐，更“听懂”了千年的文化密码。

项目背景：从“听见”到“听懂”

在数字化浪潮的推动下，音乐正成为人机交互的重要媒介。然而，当前大多数AI语音系统仍停留在“语音识别”层面——能识别“说了什么”，却难以理解一段旋律“表达了什么”。对于蕴含深厚文化底蕴的中国传统音乐而言，这一局限尤为明显。

真正的挑战在于：

● 如何让AI分辨古琴曲中细腻的“徵”音与“羽”音？

● 如何让虚拟戏曲角色的唱腔精准契合“宫调”的情感色彩？

● 如何为民族音乐学习者提供一个能实时反馈、精准指导的智能助手？

为此，我们基于 Qwen2-Audio-7B-Instruct 模型，通过领域适配性微调，构建了一套能够深度理解传统音乐语义的智能系统。该系统不仅融合了五声音阶（宫、商、角、徵、羽） 的声学特征，更在文化语境与情感表达层面实现了突破，让技术真正服务于文化的传承与创新。

系统构建：从“微调”到“评估”

我们采用 LoRA 微调方法，在保持模型原有能力的基础上，注入音乐领域的专业知识。微调过程总时长约1h18min。

资源配置与准备

微调过程全记录

进入 LLaMA-Factory Online「实例空间」页面后开始进行微调，在「配置资源」页面选择4卡 H800A GPU 资源，其他参数保持为默认值即可。待实例启动后，点击「LLaMA-Factory快速微调模型」页签，进入 LLaMA-Factory Online 在线WebUI微调配置页面，根据实际需求进行模型选型和参数配置。

参数配置完成后，点击“开始”按钮启动微调任务。页面底部将实时显示微调过程中的日志信息，同时展示当前微调进度及 Loss 变化曲线。经过多轮微调后可以看出 Loss 逐渐趋于收敛，直到系统提示“训练完毕”。

效果评估与对比

训练完成后，我们从定性对话测试与定量指标评估两个维度验证系统效果。

通过对比微调模型与原生模型的输出结果可以发现，微调后的模型在角色扮演方面表现出更强的契合度，其回答不仅更贴近系统预设的角色定位，也更符合用户的认知预期。

我们切换至“Evaluate & Predict”页面，选择微调后模型的检查点路径，然后选择平台预置的 CNPM_audio_train 数据集，并根据实际需求配置评估参数（本实践的参数设置如下图所示）。

配置完成后，点击“开始”按钮即可启动评估，页面底部将实时显示评估过程中的日志信息，评估完成后，记录评估结果，结果如下所示。

{
  "predict_bleu-4": 52.251510546875,
  "predict_model_preparation_time": 0.0068,
  "predict_rouge-1": 69.82624921875,
  "predict_rouge-2": 60.547182421875,
  "predict_rouge-l": 69.466005859375,
  "predict_runtime": 37.407,
  "predict_samples_per_second": 6.496,
  "predict_steps_per_second": 0.107
}

各项指标均表明生成内容与参考答案在词汇、短语、句子结构和语义连贯性上高度匹配，具备良好的语言流畅性和信息覆盖能力。

我们在同一测试集上对比了微调前后的模型性能。

对比微调后模型评估与原生模型评估结果可以看出，微调后模型在生成质量上表现优异（BLEU-4: 52.25, ROUGE-L: 69.47），表明其能生成语义准确、结构连贯的高质量输出；原生模型所有生成指标极低（BLEU-4: 3.55, ROUGE-L: 7.93），说明模型未能有效理解或生成相关内容。这反映出微调后模型生成文本在术语准确性、结构连贯性和语义完整性上接近专业参考答案，已达到实用化水平。

技术最有温度的时刻，莫过于它真正理解并尊重了人的文化。这次实践最令人振奋的，不是 BLEU 分数提升了多少，而是当 AI 第一次准确识别出一段京剧唱腔中的“宫调转徵调”时，我们看到的可能性——技术不仅能提升效率，更能成为文化传承的桥梁。未来，LLaMA-Factory Online 期待进一步融合多模态感知、乐谱生成等能力，构建覆盖“听、析、创”全链路的智能音乐系统，推动人工智能在文化艺术领域的深度赋能。