【读书会第13期】+第三章 视频文件的编码格式

举报
花溪 发表于 2022/07/21 13:38:06 2022/07/21
【摘要】 今天主要学习内容知识点回顾:FFmpeg 支持很多视频编码格式,比如 MPEG4、H263、H264、H265、VP8、VP9 等。 今日重点H264 视频编码格式(H264 的码率控制、H264 的I帧类型、H264 的P帧类型、H264 的B帧类型、H264 帧参考关系)视频压缩中,每帧代表一幅静止的图像。而在实际压缩时,会采取各种算法减少数据的容量,其中IPB(I>P>B )就是最常见...

今天主要学习内容知识点回顾:

  • FFmpeg 支持很多视频编码格式,比如 MPEG4、H263、H264、H265、VP8、VP9 等。 
  • 今日重点H264 视频编码格式(H264 的码率控制、H264 的I帧类型、H264 的P帧类型、H264 的B帧类型、H264 帧参考关系)
  • 视频压缩中,每帧代表一幅静止的图像。而在实际压缩时,会采取各种算法减少数据的容量,其中IPB(I>P>B 就是最常见的。
  • I帧是关键帧,属于帧内压缩。就是和AVI的压缩是一样的。 P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。
  • H264采用的核心算法是帧内压缩和帧间压缩,帧内压缩是生成I帧的算法,帧间压缩是生成B帧和P帧的算法

1.H264 的码率控制

  • VBR:Variable BitRate,动态码率模式,其码率可以随着图像的复杂程度的不同而变化,因此其编码效率比较高。既保证了质量,又兼顾带宽限制。这种算法优先考虑图像质量
  • CBR:Constant BitRate,恒定码率模式,由于码率恒定,有画面剧烈变化时,QP参数会增大,图像质量会变差,当场景静止时,又浪费带宽。该模式的整体图像质量不稳定。这种算法优先考虑码率(带宽),统计一段时间内的平均码率,会更合理一些。
  • ABR:Average BitRate,平均码率模式,是 VBR 的一种衍生形式,在指定的文件大小内,静态或者接近静态的画面部分使用相对较低的流量,复杂画面部分使用较高的流量,可以视为是 VBR 和 CBR 的一种折衷方案。可以理解为在一定的时间范围内达到设定的码率,但是局部码率峰值可以超过设定的码率,平均码率恒定。

2.H264 的I帧类型

  • 一个GOP序列的第一个图像叫做 IDR 图像(立即刷新图像),IDR 图像都是 I 帧图像,但I帧不一定都是IDR帧,只有GOP序列的第1个I帧是IDR帧(I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧。)。
  • I帧,又叫帧内参考帧 ,保留一帧完整的画面。
  • 解码时仅用I帧的数据就可重构出完整的图像。
  • I帧不需要参考其他画面而生成。
  • I帧是P帧和B帧的参考帧。
  • I帧不需要考虑运动矢量。
  • I帧所占数据的信息量最大。
  • 它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输。
  • I帧表示关键帧,你可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以完成(因为包含完整画面)。

3.H264 的P帧类型

  • P帧,又叫前向参考帧,表示的是这一帧跟之前的一个关键帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面,P帧没有完整画面数据,只有与前一帧的画面差异的数据。
  • P帧是I帧后面相隔1~2帧的编码帧。
  • P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)。
  • P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧。
  • P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧。
  • P帧是参考帧,可能会造成解码错误的扩散。
  • P帧的压缩比介于I帧和B帧之间。
  • P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。(也就是差别帧,P帧没有完整画面数据,只有与前一帧的画面差别的数据)。
  • P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

4.H264 的B帧类型

  • B帧,又叫双向参考帧,也就是B帧记录的是本帧与前后帧的差别,要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。
  • B帧的压缩率最高,但是解码时CPU使用率会比较高。
  • B帧是由前面的I或P帧和后面的P帧来进行预测的。
  • B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量。
  • B帧不是参考帧,不会造成解码错误的扩散。
  • B帧是双向差别帧,B帧压缩率高,但是解码时CPU会比较累。
  • B帧的预测与重构:B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。

5.H264 帧参考关系

I、B、P各帧是根据压缩算法的需要,是人为定义的,它们都是实实在在的物理帧。一般来说,I帧的压缩率是7(跟JPG差不多),P帧是20,B帧可以达到50。可见使用B帧能节省大量空间,节省出来的空间可以用来保存多一些I帧,这样在相同码率下,可以提供更好的画质。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200