【云驻共创】华为云音视频极简接入与开发动手实战

实时音视频日益成为千行百业的基础服务，如何让华为云RTC成为千行百业的重要选择？极简接入是基础也是重要的一环。结合在线教育、互动直播等真实场景，手把手教会开发者如何在自身的服务基础上，轻松接入华为云RTC的产品？ 

视频产业正在向大规模、高质量、智能化的方向飞速发展。在规模方面，视频已经是当前的风口，业务在互动、文娱、教育、远程办公等场景，已经有大量的用户正在进行视频化。在高质量方面，H.265的成熟基于4k、AR、VR等结合的视频体验得以快速的落地；在智能化方面，AI智能用户体验和效率的提升。

在技术感知智能方面，语音识别、语音处理、图像识别、生物识别等技术都在快速的发展；在认知智能专业的领域的知识理解、深度学习、知识图谱、多模态预测等方面的技术也在快速的发展。

华为云实施音视频服务，持续提升音视频的极致体验，引领行业的发展，华为在音视频领域已经有三十多年的经验。自从1998年开通华为通话业务以来，华为已经在2004年完成了华为视频业务，2008年完成了华为云会议。2017年华为云上线，基于30年的匠心打造，推出了华为实施音视频的服务。华为在音视频领域已经有3000家自有专利，同时，基于华为云的海量边缘节点，大概有2500个边缘节点，构建了一张实时的音视频网络。

基于华为37年积累的3000家音视频专利和实时的媒体网络，华为推出了华为云实时音视频服务。

华为云实时音视频解决方案整体介绍

华为实时音视频解决方案的目标是重新定义整个实时音视频的服务，提升用户的体验，提升用户的业务，提升用户的技术，支撑千行百业的快速发展。基于多元的算力构建边缘云服务支撑、云原生框架、云边端协同、智能调度等技术，再赋予音视频处理、音视频积累、网络自适应技术、智能编码技术累计加上自服务的平台的能力，简单易用，一天集成云上的专业工具，业务系统的安全，赋予丰富的功能来推动千行百业进一步的使用实时音视频服务。

覆盖多种场景-教育行业

在教育行业，基于华为云的实时音视频服务，可以轻松的构建高品质的互动教学体验，增强获客能力。支持小班课这块，推出的核心能力包括高画质、高音质、1080p的高清画质h265同等分辨率下的带宽成本更低，48k的高音质音频都是在这个业务场景上构筑的核心竞争力。在大型直播课上面，支持千人互动自由连麦，客户可以基于的能力实现大型直播课、超级直播课等场景，可以增加单节课的参与人数，支持千人实时互动，增强客户的获客和盈利能力。在双式课堂场景，追求的能力稳定流畅，可以支撑的业务场景包括双师课堂和名师课堂，在这个场景下面，推出的是极致的抗落网能力，卡顿率小于5%，流畅不卡顿。

覆盖多种场景-办公协议

在办公协议场景，支持互动视频会议、远程办公协作，在视频会议和办公协作相关的场景下面，支持线上员工大会、在线研讨会、异地业务会议、企业内部培训。推出的核心竞争力包括，简单易用，随时可以加入、无上限参与人数，不需要额外的设备一键入会，并且能邀请任何人入会，随时互动，高清流畅，支持多方异地在线音视频互动，高清画面稳定传输，支持多码率多路现场自由切换，不会错过任何一个分会场。同时也支持对数据的分析和跟踪，可视化的报告、量化会议培训以及活动的沟通效果，多维度的用户画像观看状态的埋点。

覆盖多种场景-文娱

在文娱场景，目标是打造零距离的互动直播间，具体的业务场景包括主播才艺pk创新的玩法和体验的提升，在这块主要打造的能力是主播间的互动无延迟，端到端时延小于200毫秒pk参与人数无限制，所有的观众都可以实时参与互动。在相亲的这个场景，支撑自由上线高清画质，一个主持人、N个交友者，交友者可以介绍并且拉票。在这个场景，构筑的核心竞争力就是主播数量无限制，不需要提前安排，自由上线、连麦出境。在在线ktv的场景，提供了优质的音效和超低的实验，在这块打造的核心竞争力是优质音效、音频降噪、原声高保真、超低延时、极速流畅体验、创新玩、强唱合唱、超强互动。

华为云实时音视频服务全功能的视图

华为云实时音视频服务全功能的视图，支持主播端在发送能力，支持自采集，包括通过华为云实时音视频采集，也支持第三方的自采集。在采集完的视频，支持预处理处理的能力，包括回声消除，丢包对抗，智能降噪，消教控制等。处理完了的视频，支持对它进行硬编和软编支持高采用率、高码率、高帧率。在播放侧，支持硬解码，软解码还支持不同的播放模式。在解码完的视频可以进行后处理，包括音效的美化，趣味的变身，听声辨位等等。最终拿到的视频，可以提供给华为云实时音视频服务进行渲染，也支持将渲染流推给客户做自渲染。除此之外，华为也提供了非常丰富的服务端能力，包含实时转码、直播、混流录制审核、房间管理等等。在实时转码方面，支持按需实时转码，并输出标清、高清、超清的多种分辨率。在直播场景里面，会将房间内的音视频流推送给直播服务，在混流功能上面，支持将多录音视频流混流成一录。在录制方面，支持视频的实时录制，录制的内容可以根据客户的选择存储在对应的OBS桶里面，支持对音频和视频内容进行实时审核。在房间管理方面，支持单个主播的加入，也支持多个房间的互动PK。

华为云实时音视频服务提供了丰富的功能

• 基础功能能方面，提供了视频通话，视频互动直播，语音通话，语音互动直播。
• 高级功能这块提供了高音质，高画质角色。快单用户加多房间屏幕共享，3A处理，基础美颜，音量大小回调等等。
• 扩展能力方面，支持自定义音频数据，自定义视频数据，旁路直播，云端录制，语音内容审核，视频内容审核等等。

华为云实时音视频技术亮点介绍

华为实时音视频服务构建核心产品亮点是低时延的媒体网络、高质量音视频、智能的媒体处理。在超低时延方向，目标是构建端到端，时延小于200毫秒。在全球覆盖方面，依托全网的2500个加节点，覆盖全球170家国家，确保用户的就近接入。在极致体验方面，通过自适应复杂网络的算法保证50%的视频抗六包和80%的音频抗丢包。在极智编码方面，支持1080p的视频分辨率h265和感知编码技术码率降低30%~40%。在智能处理方面，支持AI特效的多种玩法，AI降噪效果更优，AI调度提升整个传输的可靠性

• 业界最佳的落网抗丢包能力自适应复杂网络。华为专利的抗落网丢包技术，实现在落网情况下自适应的找到延迟和流畅的最佳契合点，打造稳定的流畅体验，50%的视频抗流包和80%的音频抗丢包。
• 智能调速，避免这个丢包恶化提供的能力包括智能的网络探测，视频的自动升降速。在智能网络探测上面，会根据时间和丢包率的关系判断当前网络的模型及可用的带宽控制，编码的速度与纠错的方案。

华为在高铁，地铁，楼梯间，教室，出租房等业务场景都有做定向的优化。在视频自动升降速方面，做到了在传输网络带宽降低或者恢复时，主动降低或者恢复视频的帧率，视频的分辨率以实时的匹配当前的网络带宽状况，达到最优的视频质量。也以华为的网络团队进行深度的合作，推出创新的RTC端网协同，在同等无线网络的拥塞场景下，减少22%的卡顿。在业界率先推出了H.265加感知编码，重塑用户的体验。在这块有三大块的技术:

• 在视频分层编码，在视频多层分层编码的技术里面，的视频会以不同的码率、帧率、分辨率和视频质量解码，实现10亿的可伸缩性，空翼的可伸缩性，质量的可伸缩性，码率自适应调整，网络适应性更强。
• 在265加感知编码的技术上面，实现了30%~40%的码率降低用户的体验更佳。
• 实施超分的能力，启用超分以后，整体的细节会更清新，体验提升一档，但是第一消耗自动开启，同等马力下提升视频质量。华为自研了音频算法，打造高可靠的音频体验，最新的0算法，提升高品质音频通话的体验。

将传统和AI的回声算法相结合，实现了双桨场景不漏回声、不丢字AI降噪和传统的降噪相结合，实现了抑制平稳和非平稳噪声，解决了噪声收敛慢的问题。结合降噪和自动增益功能，实现了更好的降噪和自动增益的效果。

华为云RTC和华为云的云手机协同保障了一个极致的体验，通过网络之间的联通和业务之间的配合，实现了极致的体验、丰富的功能、云化的生态和安全可靠。在极致体验上面，实现了时延小于300毫秒丰富的RTC节点网络，全链路的质量监控，保障用户的体验外部端的兼容性。在丰富的功能方面，提供了录制、截图、视频、AI超高并发的支持，同时也支持旁路直播做大规模的分发。在云化生态方面，与云手机等华为云产品协同，云手机内网推流极致的稳定性，持续优化的高效稳定。在安全可靠方面，全麦式的网络跨一部署，弹性伸缩高可靠。在灰度发布方面，是无损发布支撑业务的快速上线。

华为实时音视频服务，覆盖全终端的sdk，资源消耗小，简单易用，客户只需要几天的时间即可以完成一个音视频服务的快速上线全终端平台，支持windows、mac、安卓、iOS、web，在跨终端平台支持electron,还有c++，实现了一个资源的消耗，耗小，第一个应用包小，耗电量低，cpu使用率低，平均大概在15%左右，内存占用少，平均大概在100M左右，还有简单易用,支持的多开发语言，完整的功能代码示例，灵活的API可调用在端云协同，提供了一个最佳的业务体验。

根据时延和丢包的利率的关系判断网络模型及可用性，实现视频的自动升降档，以实时匹配当前带宽的最优视频质量。提供了可视化的运维平台试镜，通过它可以全面掌控资源的使用情况和运行状态，提供的能力包括历史用量的查询、应用管理查询、实时用量的统计查询。在实时洞察通话质量方面，能够详细的查询房间内的用户的通话时长、视频的通话时长、音频的通话时长、房间数人数、人次、同时在线人数、同时在线房间数，也能够详细的查询房间内日均加入房间的成功率、日均五秒加入房间的成功率、首次发生的时间、首次出图的时间、音频卡顿率、视频卡顿率、音频优质传输率、视频优质传输率、网络食言拉流成功率、推流成功率等客户关心的核心的业务数据。

商用案例介绍

实时音视频服务支撑亿级畅联通话稳定运行，实时视频已经逐步在融入到各类的智能硬件中，为消费者提供随时随地的沟通体验。畅联通话实现了前所未有的高清原声的通话功能，亿级的设备接入，它支持华为音箱进行语音通话，支持华为儿童手表进行视频通话，支持通过华为的智慧屏进行视频通话，支持华为手机的畅联通话。华为实时音视频服务正是支撑了这样亿级的终端畅联通话稳定的运行，提供了一个视频的高质量。

水滴项目是通过华为云云手机和华为云实时音视频服务的联动，实现了这个远程的视频销售项目，它的业务场景主要是销售和用户之间通过实时音视频服务进行视频通话，同时通过云手机在销售和用户之间操作电子保单来完成在线签约的动作。RTC视频录制服务将签约全过程实时录制，保障签约的安全有效。在业务增长情况下，6月份rc的服务音视频分钟数已经超过150万，6月份rc的房间数超过2000家，6月份RTC在线的人数超过6000家。云手机和htc的专线网络提升了端到端的网络质量，卡顿率小于0.5%，时延小于200毫秒，确保了在线签约的更流畅效率的提升。云手机预集成华为云实时音视频服务，一天的工作量就可以打通前端，提供完整的服务、业务的升级。RTC配合云手机提供便利接入性和安全性，可以支持不同的终端随时随地的接入视频通话、在线清单。

下面介绍一下如何通过华为云官网来进入RTC。打开华为云---产品-----视频----华为云实时音视频SparkRTC。https://www.huaweicloud.com/product/cloudrtc.html

进入开发者指南。可以查看到产品介绍以及产品优势、应用场景、功能、计费说明等产品详情查阅https://support.huaweicloud.com/wtsnew-rtc/index.html

可下载DEMO体验，demo代码详情讲解，获取开发资料下载。

 本文整理自【内容共创系列】1024，懂你所需，予你温暖，致敬新时代可爱的程序员们