利用频谱分析实现音乐无缝隙过度

举报
tsinghuazhuoqing 发表于 2022/06/02 23:08:20 2022/06/02
【摘要】   在网文 Algorithm Uses Math to Blend Musical Notes Seamlessly [Video] 中介绍了一篇 MIT 学生 Henderson发表的一篇国际会议...

  在网文 Algorithm Uses Math to Blend Musical Notes Seamlessly [Video] 中介绍了一篇 MIT 学生 Henderson发表的一篇国际会议论文: AUDIO TRANSPORT: A GENERALIZED PORTAMENTO VIA OPTIMAL TRANSPORT , 实现将两段音乐进行平滑过渡的滑音音效(portamento)。 这篇论文在国际数字音效会议中被评为“最佳学生论文”奖。

  通常情况下, 在两个信号 f ( t ) , g ( t ) f\left( t \right),g\left( t \right) f(t),g(t) 之间进行切换,只需要使用一个插值因子 r ∈ ( 0 , 1 ) r \in \left( {0,1} \right) r(0,1) ,通过线性插值也可以实现两个信号之间的平滑过渡。 h ( t ) = r ⋅ f ( t ) + ( 1 − r ) ⋅ g ( t ) h\left( t \right) = r \cdot f\left( t \right) + \left( {1 - r} \right) \cdot g\left( t \right) h(t)=rf(t)+(1r)g(t) 这种切换没有考虑两个信号内部的结构,所以切换过程为一个信号淡出,另一个信号同时淡入 。 如果考虑到信号本身内部的结构,在平滑过渡中保持这些结构对应关系,可以更好揭示出变化过程对应信息。

  比如下来是两张人脸照片, 左边是平通的淡入淡出过渡, 右边则是将人脸中主要特征点保持空间一致进行过渡。 两种过渡方式不同。

▲ 图1  两个人脸图像切换

▲ 图1 两个人脸图像切换

  在 MIT 学生 Henderson 论文中, 他们提出了一种对音乐声音进行保持频谱结构的过渡算法, 使得声音过渡产生特有的“滑音”效果。 他们的算法也一改传统的通过音量插值的“淡入淡出”方式完成两个音频转换,而是通过傅里叶变换获得他们频谱结构,并保证在转换过程中频谱结构一致。

  具体算法是, 首先将两个音频数据都切成 50ms 长度的数据。 通过傅里叶变换获得每段数据的频谱,然后通过聚类算法将所有的频率汇聚成独立的合成音符。

  以上还都是通常音频数据处理过程。 关键步骤在于他们利用了 最优运输 (Optimal Transport)优化算法获得两个音乐频谱结构之间的对应关系。

▲ 图2  在两个音乐过渡过程中,保持其中频谱对应关系

▲ 图2 在两个音乐过渡过程中,保持其中频谱对应关系

  下面再根据插值参数 r ∈ ( 0 , 1 ) r \in \left( {0,1} \right) r(0,1) 确定插值音乐中所有音符对应的频率和幅度,最后再通过傅里叶反变换获得插值后的音频数据。

  可以通过一个手动滑柄,或者一个旋转电位器确定两个音乐之间比例参数。这种算法不仅可以在两段不同乐器的音乐之间进行切换,也可以在人声之间,或者人声与乐器之间进行平滑切换。

▲ 图3  两段音乐频谱之间的对应和过渡切换

▲ 图3 两段音乐频谱之间的对应和过渡切换

  为了消除切换过程中人为失真痕迹, Henderson 设计了两个关键音频处理算法:

  • 提出了一种频率重新分配(Frequency Reassignment)信号处理技术,将声音频谱进行分配成若干频率段,形成单一音符;
  • 提出了一种音频相位合成算法将相邻 50ms 音频段进行平滑合成,避免窗口之间相互影响。

  基于这种算法, Henderson 希望能够进一步改进, 实现音乐中的连奏 (legato)效果,即在不同音符之间进行光滑变换,达到一些经典音乐演奏效果。

  如果大家感兴趣,可以参见后面他们的论文。


■ 相关文献链接:

● 相关图表链接:

文章来源: zhuoqing.blog.csdn.net,作者:卓晴,版权归原作者所有,如需转载,请联系作者。

原文链接:zhuoqing.blog.csdn.net/article/details/125070537

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。