【音视频入门】RTP与H264

@TOC

前言

随着互联网和多媒体技术的发展，音视频传输技术在现代通信中占据了重要地位。在众多的传输协议中，实时传输协议（Real-time Transport Protocol, RTP）和H.264视频编码标准因其高效和实时的特点，被广泛应用于网络视频会议、直播和视频点播等场景。本文将详细介绍RTP与H.264的基本概念、特点和优势，并通过示例展示其具体应用。

RTP是什么

概述

RTP，全称为实时传输协议（Real-time Transport Protocol），是一个网络传输协议，专门用于传输实时数据，如音频和视频。RTP通常与实时传输控制协议（RTCP, Real-time Transport Control Protocol）一起使用，以提供端到端的传输服务。

特点

1. 实时性：RTP专为实时数据传输设计，能够有效地支持音视频等实时应用。
2. 灵活性：RTP可以在多种网络环境下工作，并且可以与多种编解码器配合使用。
3. 可扩展性：RTP支持扩展报头，允许自定义扩展以满足特殊需求。
4. 质量控制：通过与RTCP结合使用，RTP可以监控传输质量并提供反馈。

好处

1. 低延迟：RTP提供的实时传输功能确保了音视频的低延迟传输，非常适用于对时延敏感的应用。
2. 互操作性：RTP的灵活性和标准化使其能够与不同的硬件和软件系统兼容，促进了跨平台通信。
3. 增强的传输控制：通过RTCP的反馈机制，能够动态调整传输参数以优化传输质量。

RTP报文格式

RTP报文由一个固定的报头和一个可变长的有效负载组成。报头长度通常为12字节，但如果包含扩展报头则会更长。

RTP报文结构

0                   1                   2                   3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|X|  CC   |M|     PT      |       sequence number         |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                           timestamp                           |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|           synchronization source (SSRC) identifier            |
+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
|            contributing source (CSRC) identifiers             |
|                             ....                              |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

各字段含义

• V (版本号)：占2位，当前版本为2。
• P (填充标志)：占1位，指示报文末尾是否有填充字节。
• X (扩展标志)：占1位，指示是否存在扩展报头。
• CC (CSRC计数)：占4位，表示CSRC标识符的数量。
• M (标记位)：占1位，用于特定应用定义。
• PT (负载类型)：占7位，指示负载的具体类型（如音频或视频格式）。
• 序列号：占16位，用于检测报文丢失和重排序。
• 时间戳：占32位，表示RTP报文的采样时间。
• SSRC标识符：占32位，标识同步信源。
• CSRC标识符：每个占32位，用于标识贡献源。

RTP报文示例

假设我们有一个简单的RTP报文，其内容如下：

80 e0 00 01 00 00 00 01 12 34 56 78

解读该报文：

• 版本号 (V)：2
• 填充标志 §：0
• 扩展标志 (X)：0
• CC：0
• 标记位 (M)：1
• 负载类型 (PT)：96
• 序列号：1
• 时间戳：1
• SSRC标识符：0x12345678

H.264是什么

概述

H.264是一种视频压缩标准，也称为高级视频编码（Advanced Video Coding, AVC），由国际电信联盟（ITU-T）的视频编码专家组（VCEG）与国际标准化组织（ISO）的动态图像专家组（MPEG）联合开发。

特点

1. 高压缩率：H.264相比于之前的压缩标准，提供了更高的压缩效率，能够在较低的比特率下实现高质量的视频传输。
2. 灵活性：支持多种分辨率和帧率，适用于从低质量到高质量的各种视频应用。
3. 网络友好性：设计时考虑了网络传输的需求，具有良好的抗丢包和错误恢复能力。
4. 广泛支持：得到了广泛的硬件和软件支持，是当前主流的视频编码标准。

好处

1. 节省带宽：H.264的高压缩率能够显著降低视频传输所需的带宽，降低传输成本。
2. 高质量视频：在相同的带宽条件下，H.264能够提供更高质量的视频图像。
3. 兼容性强：广泛的支持使得H.264能够在各种设备和平台上顺利播放。

H.264编码结构

H.264编码器将视频数据分为一系列的帧（frame），每一帧又被分为宏块（macroblock），再进一步分为更小的块进行编码。H.264使用了帧内预测、帧间预测、变换编码和熵编码等多种技术来提高压缩效率。

关键技术

• 帧内预测：利用当前帧内的已编码块预测未编码块，从而减少冗余数据。
• 帧间预测：利用前后帧的相似性，通过运动估计和补偿减少数据量。
• 变换编码：将时域信号变换到频域，以便更有效地压缩。
• 熵编码：使用如CABAC和CAVLC等熵编码方法进一步压缩数据。

H.264报文示例

一个简单的H.264 NALU（Network Abstraction Layer Unit）报文示例：

00 00 00 01 67 42 00 1f 95 a8 28 2f 20 00 00 03 00 80 00 00 1e 7b 2e 00

解读该报文：

• 起始码：00 00 00 01
• NALU头：67（表示一个SPS（Sequence Parameter Set））
• SPS数据：42 00 1f 95 a8 28 2f 20 00 00 03 00 80 00 00 1e 7b 2e 00

总结

RTP和H.264是现代音视频传输和编码的两大关键技术。RTP提供了高效的实时传输机制，适用于各种实时音视频应用，而H.264则提供了高效的视频压缩算法，能够在有限的带宽条件下实现高质量的视频传输。两者的结合广泛应用于网络视频会议、直播和点播等场景，为用户带来了流畅和高质量的视听体验。未来，随着技术的不断发展，这些标准和协议将进一步优化，为我们的数字生活提供更加卓越的服务。