实习的第十一天：流媒体之RTP、RTCP、RTSP协议

@[toc]

RTP

RTP是什么？

RTP，Real-time Transport Protocol，实时传输协议。用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。

==RTP提供时间序列和流同步，但是不保证服务质量，服务质量由RTCP来提供==，后面会提到。

RTP报文由两部分组成：报头和有效载荷。

前12字节是固定的，CSRC可以有多个或者0个。

1）V：RTP协议的版本号，占2位

2）P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分

3）X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头

4）CC：CSRC计数器，占4位，指示CSRC标识符个数

5）M：标志，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。

6）==PT==（payload type）：有效荷载类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等，在流媒体中大部分是用来区分音频流和视频流，这样便于客户端进行解析。

7）==序列号==：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。这个字段当下层的承载协议用UDP的时候，网络状况不好的时候可以用来检查丢包。当出现网络抖动的情况可以用来对数据进行重新排序。序列号的初始值是随机的，同时音频包和视频包的sequence是分别计数的。

8）==时戳==（Timestamp）：占32位，必须使用90kHZ时钟频率（程序中的90000）。时戳反映了该RTP报文的第一个八位组的采样时刻。接受者使用时戳来计算延迟和延迟抖动，并进行同步控制。可以根据RTP包的时间戳来获得数据包的时序。

9）同步信源（SSRC）标识符：占32位，用于标识同步信源。同步信源是指产生媒体流的信源，他通过RTP报头中的一个32为数字SSRC标识符来标识，而不依赖网络地址，接收者将根据SSRC标识符来区分不同的信源，进行RTP报文的分组。

10）提供信源（CSRC）标识符：每个CSRC标识符占32位，可以有0~15个CSRC。每个CSRC标识了包含在RTP报文有效载荷中的所有提供信源。

提供信源用来标识对一个RTP混合器产生的新包有贡献的所有RTP包的源。是指当混合器接收到一个或多个同步信源的RTP报文后，经过混合处理产生一个新的组合RTP报文，并把混合器作为组合RTP报文的SSRC，将原来所有的SSRC都作为CSRC传送给接收者，是接受者知道组成组合报文的各个SSRC。

RTP的用武之地

RTP用于在单播或多播网络中传送实时数据。

简单的多播音频会议：语音通信通过一个多播地址和一对端口实现，一个用于音频数据（RTP），一个用于控制包（RTCP）。

音视频会议：这两种媒体将在不同的RTP会话中传送，每个会话使用不同的传输地址（IP+端口）。如果一个用户同时使用了两个会话，则每个会话对应的RTCP包都使用规范化名字CNAME。与会者可以根据RTCP包中的CNAME来获取相关联的音频和视频，然后根据RTCP包中的计时信息来实现音频和视频的同步。

翻译器：属于RTP级别的中继系统，用在通过IP多播不能直接到达的用户区。

混合器：当与会者能接受的音频编码格式不一样。在进入音频数据格式需要变化的网络之前，混合器将来自一个源或多个源的音频包进行重构，并把重构后的多个音频合并，采用另一种音频编码进行编码后，再转发这个新的RTP包。

流媒体

流媒体这个概念，一年半前就接触了，当时还是在视频点播器的项目上。

流式传输

==流式传输是实现流媒体的关键技术==。

要实现流式传输，就是要从==降低延迟==和==恢复数据包时序==入手。在发送端，为降低延迟，往往对传输数据进行预处理（降低质量和高效压缩）。在接收端为了恢复时序，采用了接收缓冲；而为了实现媒体的流畅播放，则采用了播放缓冲。

接收缓冲

不难理解，其实就是一个缓冲区，正常缓存区用来干嘛的，它就用来干嘛的。

使用接收缓冲，可以将接收到的数据包缓存起来，然后根据数据包的封装信息（如包序号和时戳等），将乱序的包重新排序，最后将重新排序了的数据包放入播放缓冲播放。

播放缓冲

播放缓冲存在的意义，一方面是因为网络存在不确定性，另一方面对数据包的排序需要处理时耗，如果没有播放缓存区的内容存在的话，后台处理这些状况的时候就会导致前端看起来很卡，这叫==时延抖动==。所以，我们采取在开始播放时，花费一点时间先将播放缓冲填满，可以有效的消除时延抖动，从而在不太损失实时性的前提下实现流媒体的顺畅播放。

RTP的协议层次

RTP编程

参考博客：https://blog.csdn.net/qq_25005909/article/details/78622326

RTCP

RTCP的主要功能是：服务质量的监视与反馈、媒体间的同步，以及多播组中成员的标识。

RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，各参与者可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。

RTSP

RTSP（Real Time Streaming Protocol）实时流传输协议。是 TCP/IP 协议体系中的一个应用层协议，RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或UDP完成数据传输。

RTSP发起/终结流媒体、RTP传输流媒体数据、RTCP对RTP进行控制、同步。

RTSP交互过程

收尾小问题

声音和图像怎么同步：
根据声音流和图像流的相对时间（即RTP包的时间戳），以及它们的绝对时间（即对应的RTCP包中的RTCP），可以实现声音和图像的同步。

如何获取音频数据：
直接将RTP包的包头去掉即可。当然，要成功地播放解码获取到的音频流，需要知道其编码，这可从RTP包包头的有效载荷类型字段（PT）获得。