现状

纵观视频的发展，从最初的平面视频，到多视角、高画质的视频，全景3DoF、FTV视频，以及6DoF视频，体验一直在提升。

多视角

3DoF

6DoF

高品质、沉浸式、交互性的体验需求，导致对设备或网络的存储、计算、带宽的需求也与日俱增。

数据量、计算量的剧增：平面视频，需要1台摄像机；立体的视频则需要2台摄像机；3DoF的视频，则需要6台摄像机；而FTV/6DoF的视频，则可能需要40~100台摄像机。

自由、快速的视角切换要求：用户可视区域有限，支持3DoF、6DoF视角切换能力；人眼要求MTP小于20ms，否则会有眩晕感。

而当前终端的解码、传输能力却有限，如终端普遍的解码能力是4KP60，部分高端芯片支持8KP30。

因此在终端能力受限的情况下，如何平衡视频交互性和情绪度是面临的挑战。

云VR视频技术演进

云视频流化演进技术大致经历下如下四个阶段：

• Phase1：IPTV-RTSP

  不再需要全部下载完成后再观看，可以基于RTSP协议按需分发，增加了直播频道观看互动性，可以在直播频道观看过程中快进快退和暂停。

  转码遵循H.264标准；分发使用的是HTTP或RTSP协议；播放则限制于PC或者TV机顶盒。

  挑战：适用于可管理网络，无法适用于互联网大规模分发。

• Phase2.1：OTT-ABR

  不再基于HTTP协议分发，充分利用现有互联网基础设施CDN，支持多种码率格式适应不同网络情况。、

  转码开始遵循H.264或H.265标准；分发使用的是HLS或DASH协议；播放可以在各类多屏上进行，如PC、TV机顶盒、手机、Pad等。

  挑战：Glass to Glass延迟太大，通常会达到30秒以上。

• Phase2.2：OTT-ABR-CMAF

  将分片粒度变小，降低Glass to Glass延迟。

  转码遵循H.264或H.265标准；分发使用的是DASH+CMAF协议；播放可以在各类多屏上进行，如PC、TV机顶盒、手机、Pad等。

  挑战：如何在不可管理网络上，实现低G2G延迟下的，高质量稳定分发直播内容。

• Phase2.3：OTT-ABR-OMAF

  用户带上头盔，可以通过转头观看任意角度的视频。

  转码遵循H.265标准；分发使用的是DASH+OMAF协议；播放可以VR头盔、VR眼镜上进行。

  挑战：如何降低对带宽的要求，如何不影响用户转头时的体验。

针对以上发展阶段遇到的挑战，云VR视频流化技术的解决思路有如下三种流派：

• Viewport-Agnostic视角不相关

  是指360全视角传输、全视角解码、FOV视角渲染。不区分FOV位置，所有位置的分辨率都高，对解码的芯片要求高。

  这种流派存储需求低、视频编码复杂度低、但是对带宽要求高。

• Viewport-dependent视角相关

  是指360全视角传输、全视角解码、FOV视角渲染。FOV不相关的位置分辨率会降低。

  这种流派存储需求高、视频编码复杂度高、但是对带宽需求低、流切换Latency低。

• Tile-based streaming

  是指FOV视角传输、FOV视角解码、FOV视角渲染。

  这种流派存储需求中等、视频编码复杂度中等、对带宽需求也低、流切换Latency也低。

目前业界主流方式是第三方流派——Tile-based streaming。华为云VR也使用该流派。

参考文献

轻松科普 生动形象了解VR领域关键词3DoF和6DoF：

https://baijiahao.baidu.com/s?id=1601676750813401012&wfr=spider&for=pc

HDC大会预约

基于新型冠状病毒感染的肺炎疫情防控形势，原计划于2月11-12日在深圳召开的华为开发者大会2020（Cloud），将延期至2020年3月27-28日以网上直播的方式呈现，敬请期待。

预约直播链接：https://www.huaweicloud.com/HDC.Cloud.html