视频编解码芯片设计原理----02 视频编码技术框架与标准

本系列主要介绍视频编解码芯片的设计，以HEVC视频编码标准为基础，简要介绍编解码芯片的整体硬件架构设计以及各核心模块的算法优化与硬件流水线设计。本文将介绍视频编码技术的混合编码框架和国内外主流编码标准的发展历程与特点。

针对不同冗余，各种视频编码算法层出不穷；现如今硬件条件的持续发展，也为高压缩率的复杂算法提供了实现条件，视频编码的国际标准也持续更迭。

1视频编码技术框架

视频编码技术自诞生以来，不断更新换代，致力于更优的编码效率和压缩效果，而更高的压缩效率来源于更高效的编码算法。虽然各种视频编码标准及其算法之间略有区别，但它们的编码架构都是类似的。自第一代编码标准诞生以来，各种视频编码标准均采用混合编码 (Hybrid Coding) 框架，通用处理流程依次为预测、变换、量化、熵编码，并且每个流程都以块作为处理单位。下图1是混合编码框架的示意图。

图1 混合编码框架

编码时，首先读入原始图像块，而后基于重建图像，选择进行帧内或帧间预测，从而得到预测图像块。原始图像块和预测图像块之差即为（变换前的）残差数据块，对其进行变化和量化之后，便可得到能量更为集中的系数数据块。系数数据块一方面会和预测模式一起经过熵编码，得到压缩后的码流；另一方面会经过反量化、反变换，得到（变换后的）残差数据块，将其与预测图像块相加即可得到重建图像块。此外，重建环路中的环路滤波可提升视频的主观和客观质量。
为了提高压缩的效果，视频编码标准会提供一系列的编码工具，而编码的过程其实就是在选择这些编码工具及其组合的过程。越先进的标准，其提供的编码工具一般也越多。

2视频编码标准

几十年间，新的视频编码算法层出不穷。然而，商业视频编码应用趋向于使用有限的几个标准化方法进行视频压缩。国际上一直以来制定视频编码标准的主要组织为，国际电信联盟-电信标准化部门 (ITU-T) ，以及国际标准化组织 (ISO) /国际电工委员会 (IEC)。

其中，ITU-T成立了视频编码专家组VCEG，ISO/IEC成立了运动图像专家组MPEG，二者至今已单独或联合地制定了H.26x和MPEG-x等一系列视频编码标准，在国际上受到了广泛的使用和研究。中国的数字音视频编解码技术标准工作组，则是面向我国的信息产业需求，制定了具有自主知识产权的AVS系列标准。另外，由Google、Amazon、Mozilla等公司发起创立的开放多媒体联盟 (AOMedia) 则致力于建设免费的（或专利友好的）的视频编解码标准。下图2显示了一些主流视频标准的发展历程。

图2

同一时期的不同编码标准，可能会用不同的算法方案实现类似的高效率编码；而同一编码标准的代际之间算法有较大差别，不论是对已有算法的优化，还是提出新的算法，都是为了得到更高的编码效率。以H.26x系列标准的发展为例：H.261标准可以认为是混合编码标准的鼻祖，应用于可视电话、会议电视等方面。H.262标准等同于MPEG-2的视频部分，支持按帧或场进行分块，应用范围包括数字卫星电视、数字有线电视等，也成为了DVD的核心技术，并且也成功地适用于后来的高清电视(HDTV）。H.263标准则进一步提出了许多新的编码技术选项，包括无限制的运动矢量模式、基于语法的算术编码、高级预测模式、PB帧模式等，使得H.263的编码性能大大提升，成为低码率视频会议应用首选的编码算法。H.264(AVC)标准仍然沿用混合编码框架，并在混合编码的框架下增加了对更多先进编码技术的支持，包括多方向帧内预测、多参考帧运动补偿、可变的分块大小、1/4像素精度的运动补偿、4×4及8×8整数DCT变换、内容自适应的环路去方块滤波、自适应熵编码CABAC（上下文自适应二进制算术编码）和CAVLC（上下文自适应变长编码）等。H.264具有优秀的编码性能、网络适配性以及抗出错性能。因此，H.264在视频存储、广播、交互式网络视频等方面都得到了广泛的应用，至今仍是应用最为广泛的编码标准。H.265(HEVC)标准相较于H.264标准，在保证相同视频质量的前提下，视频编码所需的码率进一步降低了50%，并控制编码端的计算复杂度增加不超过3倍。随着网络技术以及芯片处理能力的提升，H.265的出现使得在有限的带宽下能够传输更高质量的网络视频，能够支持4K和8K超高清视频的应用。H.265标准中，典型的技术创新包括基于大尺寸四叉树(Quad-tree)块的划分技术和残差编码结构、更多角度的帧内预测、运动矢量合并模式、高精度运动补偿、自适应环路滤波等。H.266(VVC)标准的编码效率要远超H.26x系列标准的前几代，在相同的视觉质量下，H.266的码率相较于H.265可降低40%左右。除了传统的应用领域外，H.266标准的关键应用领域还特别包括了超高清视频，高动态范围、宽色域视频、沉浸式媒体应用等。

3视频编码技术发展

以下总结了H.266标准相较于H.265标准新增的部分技术[1]，从中可以感受到视频编码标准的更新思路及趋势。

块划分

1. CTU最大尺寸为128x128
2. CU划分除四叉树外，还支持二叉树和三叉树划分
3. 亮度和色度CTB可以独立划分

帧内预测

1. 常规预测模式：65个角度模式、28个宽角度模式
2. 矩阵加权帧内预测(MIP, Matrix-based intra prediction)
3. 多参考线帧内预测(MRL, Multi-reference lines intraprediction)
4. 帧内子块划分(ISP, Intra sub-partitions)
5. 跨分支线性预测(CCLM, Cross-component linear model)
6. 位置相关的组合预测(PDPC, Position-dependent prediction combination)

帧间预测

1. 新的候选项种类：History based MV、Pairwise MV等
2. 新的运动模型：仿射 (Affine)
3. 新的MVD编码方式

①自适应运动适量精度 (AMVR, Adaptive MV resolution)

②带有运动矢量差值的Merge模式 (MMVD, Merge MVD)

③对称MVD模式 (SMVD, Symmetric MVD) 

④解码端运动矢量修正 (DMVR, Decoder-side MV refinement)

1. 新的预测模式

双向光流(BDOF, Bi-directional optical flow)、光流预测细化 (PROF, Prediction refinement with opticalflow)

变换

1. 多变换核选择 (MTS, Multiple type transform)
2. 大尺寸变换块高频系数置零
3. 低频不可分离变换 (LFNST, Low-frequency non-separable transform)
4. 子块变换 (SBT, Sub-block trans-forms)

量化

1. 依赖标量量化 (DQ, Dependent quantization)

重建环路与环路滤波

1. 自适应环路滤波 (ALF, Adaptive loop filter)
2. 跨分量ALF (CCALF, Cross-component adaptive loopfilter)
3. 环路重整形 (LMCS, Luma mapping with chroma scaling)

其他

1. 色度残差联合编码 (JCCR, Joint coding of chroma residual)
2. 参考图像重采样 (RPR, Reference picture resampling)

总而言之，各代视频编码标准的更迭发展，无外乎是通过更大的块尺寸、更多的分块方法、更多的帧内和帧间预测模式、更高的精度、更多的变换函数、更多的环路滤波器选择、更有适应能力的熵编码，来获取更好的压缩效率和更好的质量。

参考文献：[1] François E,Kerdranvat M, Julian R, et al. VVC per-tool performance evaluation compared toHEVC[C]//IBC. 2020.