【云享读书会第13期】第三章视频文件的编码格式

FFmpeg的视频编码格式

• FFmpeg 支持很多视频编码格式，比如 MPEG4、H263、H264、H265、VP8、VP9 等。

H264视频编码格式

H264 码率控制

• VBR：Variable BitRate，动态码率模式，其码率可以随着图像的复杂程度的不同而变化，因此其编码效率比较高。
• CBR：Constant BitRate，恒定码率模式，由于码率恒定，有画面剧烈变化时，QP参数会增大，图像质量会变差，当场景静止时，又浪费带宽。该模式的整体图像质量不稳定。
• ABR：Average BitRate，平均码率模式，是 VBR 的一种衍生形式，在指定的文件大小内，静态或者接近静态的画面部分使用相对较低的流量，复杂画面部分使用较高的流量，可以视为是 VBR 和 CBR 的一种折衷方案。

H264 I帧类型

• 一个GOP序列的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像，但I帧不一定都是IDR帧，只有GOP序列的第1个I帧是IDR帧。

• I帧，又叫帧内参考帧 ，保留一帧完整的画面。

• 解码时仅用I帧的数据就可重构出完整的图像。

• I帧不需要参考其他画面而生成。

• I帧是P帧和B帧的参考帧。

• I帧不需要考虑运动矢量。

• I帧所占数据的信息量最大。

H264 B帧类型

• B帧，又叫双向参考帧，也就是B帧记录的是本帧与前后帧的差别，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
• B帧的压缩率最高，但是解码时CPU使用率会比较高。
• B帧是由前面的I或P帧和后面的P帧来进行预测的。
• B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量。
• B帧不是参考帧，不会造成解码错误的扩散。

H264 P帧类型

• P帧，又叫前向参考帧，表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，P帧没有完整画面数据，只有与前一帧的画面差异的数据。
• P帧是I帧后面相隔1~2帧的编码帧。
• P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)。
• P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧。
• P帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧。
• P帧是参考帧，可能会造成解码错误的扩散。
• P帧的压缩比介于I帧和B帧之间。

H264 帧参考关系图

小结

本章节主要学习了FFmpeg的视频编码格式，重点介绍了H264视频编码格式，包括H264 码率控制、I、B、P帧类型，展示了H264 帧参考关系。