【侃侃云VR】浅谈融合视频云VR体验要素

什么是第三波计算浪潮？

IT行业正在经历第三波计算浪潮。

第一波浪潮由PC和X86服务器这场革命驱动形成的PC互联网时代，大批廉价的商用硬件开始取代庞大的整体式大型机。PC互联网时代是个人第一次具有装备计算的能力，但是移动性差，是办公和娱乐数字化的开端。

第二波浪潮则是伴随着智能设备、3G网络、连接全世界的社交平台等的诞生形成的移动互联网时代。移动互联网提供了泛在的移动访问，极大丰富了办公、娱乐和生活应用。

而第三波浪潮正是VR及其产业互联网时代。高密度显示器和3D图形功能的智能手机的兴起，使得新一代轻量级高实用性的虚拟现实设备成为可能。深度传感摄像机传感器套件，运动控制器和自然的人机界面已经是日常人类计算任务的一部分。2014年Facebook以20亿美元收购Oculus工作室，这让全球投资者的目光又一次聚焦到了VR行业，自此VR浪潮开始席卷全球。

VR（Virtual Reality），即虚拟现实（真实幻觉、灵境、幻真），也称灵境技术或人工环境。VR带来了全新的沉浸式体验，是新一代信息通信技术的关键领域。VR是与虚拟世界感知、交互、融合的全新体验，使得人类可以用全新的方式感知万物。随着技术和产业生态的持续发展，对虚拟现实的体验要求越来越高。

VR关键体验要素有哪些？

那VR的关键体验要素到底有哪些呢？

一、沉浸感

所谓沉浸感，是通过四周墙面的3D影像或封闭式眼镜、头盔等设备，让人感觉自己已全身心地沉浸在另一个世界里。

目前的VR设备之所以没有普及，沉浸感不足是很重要的一个原因，而影响到沉浸感的因素有视场角、清晰度、自适应的立体时差、空间音效以及长时间佩戴的舒适度。

（1）  视场角

视场角，简称FOV（Field of View），在VR中一般表示水平方向上人眼所能看到的角度。为什么要知道这个概念呢？这就要说到我们正常人眼的总视场角，也就是大家从一侧观察到另一侧最大的角度，一般来说这个数值在200度左右。不过人眼最清楚的区域只有左右眼观看重合的视角，这个角度大概在120度。因此我们在选购一体机、PC头显时，都以120度为标准。

（2）  清晰度

清晰度是由用户视觉区域内视频像素点的数量和质量决定，主要影响因素包括内容分辨率、编码方式、终端分辨率、解码能力和视场角等。内容分辨率不足是影响当前全景视频清晰度的主要原因。终端屏幕分辨率不足则是限制渲染画面清晰度的主要原因。

那屏幕分辨率到底要达到多少才算足够呢？

首先给大家提两个概念：

1.      PPD（ Pixel Per Degree），即每一度视场角的像素数。

2.      视网膜屏：视网膜屏幕是分辨率超过人眼识别极限的高分辨率屏幕，是由苹果公司在2010年iPhone 4发布会上推出的术语。

以视网膜屏手机为例，如iPhone4，当用户在40cm左右处使用手机时，手机屏幕在用户视野中水平所占据的度数大约是10度。iPhone4手机屏幕宽度是 640 个像素，因此相当于每一度视场角被分配了 64 个像素，即 64PPD。用户此时就是无法分辨像素颗粒度的状态。

因此才有业界流行的说法，达到 60 PPD 的图像才能算得上是视网膜分辨率。

（3）  自适应的立体视差

VR的立体视差是通过为左右眼提供存在双眼视差的图像内容来实现。

人之所以能够看到立体的景物，是因为我们的双眼可以各自独立看东西，左右两眼有间距，造成两眼的视角有些细微的差别。而这样的差别会让两眼分别看到的景物有一点点的位移。而左眼与右眼图像的差异称为视差，人类的大脑很巧妙地将两眼的图像融合，产生出有空间感的立体视觉效果在大脑中。

（4）  空间音效

空间音效，指听觉上的立体效果，则是通过控制录制时的音源数量和回放时的扬声器数量来实现，双声道是最基本的要求。

（5）  长时间佩戴的舒适度

VR显示设备需要由用户佩戴使用，为保障体验过程中的舒适性，在设计时需要考虑重量、尺寸、散热、贴合度、透气性以及对近视的友好性。

二、交互性

用户通过动作、手势、语言等人类自然的方式能够与虚拟世界进行有效的沟通。通常来讲，用户的双手动作，双脚行走，在虚拟世界中产生用户能够理解的变化，用户就认为该虚拟世界对用户发生了反馈，那么用户的动作和虚拟世界对用户的反馈，组合在一起就形成一次交互作用。

那么达到一个自然、精准的交互性到底有哪些影响因素呢？

（1）  自然交互：手势/语音/表情交互

在VR中海量的信息淹没了用户，他不会理会视觉中心的指示文字，而是环顾四周不断发现和探索。如果这时给出一些图形上的指示还会干扰到他们在VR中的沉浸式体验，所以最好的方法就是使用手势、语音或者表情，和他们正在观察的周遭世界互不干扰。用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。

（2）  交互时延：MTP和HDMTP

VR的体验实际上需要复杂的技术处理流程，从传感器采集、传输、游戏引擎处理、驱动硬件渲染画面、液晶像素颜色切换，最后到人眼看到对应的画面，中间经过的每一个步骤都会产生一个Latency我们称之为延迟。延时时间过长将导致用户体验效果不好，可能会有头晕和呕吐的现象。

头动感知延时，即Motion to Photons（MTP），特指从用户头部姿态变化到终端显示画面出现变化的时间差，当MTP延时过大时就会容易引起眩晕。当前业界主流观点认为当MTP时延低于20ms时就能大幅减少运动后显示画面滞后引起的晕动症的发生。

（3）  自由度：3DOF、3DOF +、6DOF

自由度，简称Degree of Freedom（DOF），是指物体在空间中的基本运动方式，总共有六种两大类：位移和旋转。位移包括前后移动、左右移动和上下移动；旋转包括前后翻转、左右摇摆以及水平转动。

3DOF终端一般只支持旋转运动，6DOF终端可以同时支持旋转和位移运动。

（4）  定位精度、定位易用性

能否在虚拟世界里行走可以说是检验VR沉浸感的重要依据，这样的效果是离不开VR的定位追踪技术的。VR的定位追踪技术主要是解决设备的6个自由度的问题。目前通过使用惯性测量单元IMU来追踪物理旋转运动的技术已经非常成熟，其他一些用于解决位移运动测量的技术也有很多。

这些空间定位技术中：

l  需要外部传感设备支持的称为外向内追踪技术（Outside-in Tracking），特点是技术相对成熟，精度较高，但只能限定在一个固定区域内使用。

l  不需要任何外部传感器的称为内外向追踪技术（Inside-out Tracking），它是由头显通过内置深度摄像头去检测环境的变化，再通过特定算法来反向计算出自身的运动轨迹，特点是对众怒单处理性能要求高、定位精度略低、但活动范围大，受遮挡影响较少，比较适合移动场景。

一般VR终端厂商大多会采用多种定位手段相结合来实现6自由度运动的定位与追踪。

（5）  交互反馈真实度

用户通过手势、语音、表情，移动、旋转等在虚拟世界中发生的交互，最终环境给与的反馈与用户的发起意图是真实匹配的。

三、移动性

Cloud VR是相对于本地VR来说的，它把内容源以及相关的处理功能放到云端。

成本的降低，将为VR打开更广阔的市场。云的使用有助提升设备灵活性，让未来的全新设备更轻便。

关于VR的可移动性具体有哪些因素？

（1）  设备可携带型

如果要让VR技术在更多行业中普及，便携、高分辨率、体感反馈精细的VR 眼镜和低时延的高速网络环境缺一不可，5G网络正在快速普及，像HUAWEI VR Glass一样便携的VR硬件设备也在不断更新，这都为VR消费级产品的爆发埋下了伏笔。

（2）  时空限制性，支持随时随地使用

Cloud VR实现了VR终端的无线化，通过云端服务器完成图像渲染，以此降低对VR终端设备的要求，支持用户随时随地使用VR内容。

（3）  环境适应性，对外部环境的感知和理解以及适应性

由于VR的沉浸感和强交互性，VR体验过程中对人体有潜在的安全风险。目前VR终端支持设置防护虚拟边界，这个虚拟边界可帮助您始终在安全的游戏区内活动。当您靠近或接触到界限的边缘时，VR 体验界面中会显示这个虚拟边界。但是当前虚拟边界是基于空间定位的，无法检测边界中环境变化（比如人员或者宠物闯入），VR要支持对外部环境的感知和理解，确保人身安全性。更进一步，在AR/MR中，要考虑XR应用对环境的适应性，支持更强的移动性。

随着5G的问世，上层各类应用有充分发展的机会，VR能具备极佳体验，还有一段路要走，但是绝对不会太久。

参考文献

• Cloud VR用户体验与评测白皮书：

       https://www-file.huawei.com/-/media/corporate/pdf/ilab/2019/cloud-vr-user-experience-evaluation-white-paper-cn.pdf

• 如何解读5G时代的VR AR以及万物互联？

       https://www.zhihu.com/question/265883159

• 聊一聊VR虚拟现实（八）：VR视频的清晰度

       https://zhuanlan.zhihu.com/p/78704932

更多内容，期待您到HDC大会现场参与分享。

报名猛戳：https://www.huaweicloud.com/HDC.Cloud.html