【CloudVR】VR之音频技术浅析

  众所周知，VR视频、VR游戏等行业随着5G浪潮开发逐步发展了。相信很多人都听过VR视频，以及了解全景视频的概念。而对于VR产品的衡量技术标准很重要的一条便是---沉浸式。我们了解过VR视频，那么对于VR音频技术是咋么一会事呢，在VR游戏中会有一个立体的虚拟空间进行游戏交互，在现实空间中人会对声音的高低、大小、远近都有判别，观看的2D视频时我们可以听到高低和大小，即音调和音量，往往对声音的位置信息不会有过多处理（视频有空间音效除外）玩过刺激战场的人应该知道有些游戏是可以通过耳机判别位置信息的。

       VR 视频正在占领传统媒体的分发渠道，而对于拟真音频的需求也比以往任何时候都更加强烈。在此不得提到一个概念空间音频（3D音频），空间音频像是对声音进行“定位”—— 当你的眼镜正视一个物体时，你的脑海中同时也能够模拟出声音的特定方向和位置。实际生活中，我过双耳来获取声音，也就是传说中的双声道，声音从声源传播到双耳的过程中是有衰减、基于空间的反射的等介质的影响的。3D音频的真实意义就是引导我们的双耳通过一个单一的双声道声源（或者可以说是耳机）来接收声音的定位信息，包括所有的方向和距离。

      对于VR产品来讲，和普通空间音频效果不同的是，空间音频必须是要能够互动的 —— 声源的位置随着用户的动作产生变化。这是通过渲染引擎实现，它在将声源信息通过双声道的形式传递给耳机的同时，也在收集用户的位置信息。

常用的两种沉浸式音频体验的两种途径，一种是通过一个复杂的“头部相关传输函数”算法，即 HRTF，就可以通过立体声源模拟出人耳接收声音时的心理声学现象。HRTF 包含了物体形状、人耳及头部的尺寸、声音到达人耳的不同时间，还有人的耳廓、耳道、人的头盖骨、肩部等对声波的折射、绕射和衍射，针对每位用户定制3D空间线索的方式生成音频。另外一种是直接根据位置去实时进行音频渲染，即是通过对真声源的模拟，在对应的虚拟场景中计算声音从声源穿过场景是进行的衰减、反射等，场景越复杂计算复杂度会指数集合增加。当前Oculus团队已经在模拟真实声音传播的声音渲染引擎的方面除去一些计算量极大的衰减已经做到相当程度了。

不过相信在未来的发展过程中，随着硬件算力的不断提升，相信VR的沉浸式技术会越做越好，电影《头号玩家》的场景可期阿。