FFmpeg开发笔记（三十三）分析ZLMediaKit对H.264流的插帧操作

举报
aqi00 发表于 2024/06/29 15:08:50 2024/06/29
【摘要】 ​《FFmpeg开发实战：从零基础到短视频上线》一书的“3.4.3  把原始的H264文件封装为MP4格式”介绍了如何把H.264裸流封装为MP4文件。那么在网络上传输的H.264裸流是怎样被接收端获取视频格式的呢？前文指出H.264流必定以“SPS帧→PPS帧→IDR帧”开头，接下来就来验证是否确实如此。这里用到了雷霄骅雷神写的H264分析器，在此向雷神致敬，雷神10年前写的小程序至今仍然...

​《FFmpeg开发实战：从零基础到短视频上线》一书的“3.4.3  把原始的H264文件封装为MP4格式”介绍了如何把H.264裸流封装为MP4文件。那么在网络上传输的H.264裸流是怎样被接收端获取视频格式的呢？前文指出H.264流必定以“SPS帧→PPS帧→IDR帧”开头，接下来就来验证是否确实如此。

这里用到了雷霄骅雷神写的H264分析器，在此向雷神致敬，雷神10年前写的小程序至今仍然好用。打开H264分析器，该软件的初始界面如下图所示：

h264_1.png

单击文件路径栏右边的打开按钮，在弹出的文件对话框中选择某个H.264裸流文件，再单击界面右下角的开始按钮，分析器便开始分析H264文件的内容格式，分析后的结果界面如下图所示：

h264_2.png

从分析结果可见，H.264裸流的开头三帧果然是“SPS帧→PPS帧→IDR帧”。单击列表中的某个帧，界面右侧会显示该帧的详细字段信息。

当然，分析器只能读取H.264裸流文件。倘若让分析器读取MP4文件，就无法正常读出各帧信息。那么流媒体服务器又是怎么把MP4文件转化为H.264裸流的呢？
以ZLMediaKit为例，它在向推流序列插入I帧时做了特殊处理，一旦出现I帧，就自动插入SPS与PPS等配置帧。具体代码在ZLMediaKit框架的ext-codec/H264.cpp，查看该源码的H264Track::inputFrame_l函数，找到以下的代码片段，可见程序在判断关键帧之后调用了insertConfigFrame函数。

// 判断是否是I帧, 并且如果是,那判断前面是否插入过config帧, 如果插入过就不插入了
if (frame->keyFrame() && !_latest_is_config_frame) {
    insertConfigFrame(frame); // 插入SPS帧和PPS帧
}
if(!frame->dropAble()){
    _latest_is_config_frame = false;
}
ret = VideoTrack::inputFrame(frame);

找到insertConfigFrame函数的定义代码如下，果然函数内容依次插入了SPS帧和PPS帧：

// 插入SPS帧和PPS帧
void H264Track::insertConfigFrame(const Frame::Ptr &frame) {
    if (!_sps.empty()) { // 插入SPS帧
        auto spsFrame = FrameImp::create<H264Frame>();
        spsFrame->_prefix_size = 4;
        spsFrame->_buffer.assign("\x00\x00\x00\x01", 4);
        spsFrame->_buffer.append(_sps);
        spsFrame->_dts = frame->dts();
        spsFrame->setIndex(frame->getIndex());
        VideoTrack::inputFrame(spsFrame);
    }
    if (!_pps.empty()) { // 插入PPS帧
        auto ppsFrame = FrameImp::create<H264Frame>();
        ppsFrame->_prefix_size = 4;
        ppsFrame->_buffer.assign("\x00\x00\x00\x01", 4);
        ppsFrame->_buffer.append(_pps);
        ppsFrame->_dts = frame->dts();
        ppsFrame->setIndex(frame->getIndex());
        VideoTrack::inputFrame(ppsFrame);
    }
}

由此可见，ZLMediaKit在每个关键帧前面都额外插入了SPS帧和PPS帧，确保H.264裸流维持着形如“SPS帧→PPS帧→IDR帧”的队形。如果不添加SPS和PPS，客户端在拉流时会报错如下：

[NULL @ 0000022ed7782540] non-existing PPS 0 referenced

只有加上SPS与PPS，客户端才能正常拉流解析数据，才能正常渲染视频画面。 
更多详细的FFmpeg开发知识参见《FFmpeg开发实战：从零基础到短视频上线》一书。

 

​

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Android FFmpeg 视频直播 音视频
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入