在UE虚幻引擎中低延时播放RTSP监控视频解决方案

1 / 9 UEUE 虚幻引擎虚幻引擎中中 低延时播放低延时播放RTSPRTSP监控视频解决方案监控视频解决方案 北京顺景科技有限公司 2023 年 版本V3.0 2 / 9 目 录 第 1 章 方案简介 3 1.1 行业痛点 . 3 第 2 章 解决方案实现 3 2.1 技术架构 . 4 2.2 功能模块构成 . 5 2.3 方案效果 . 8 2.4 在线测试 . 9 3 / 9 第第1 1章章 方案简介方案简介 1.11.1 行业痛点行业痛点 在各种智慧城市、智慧社区、智慧水利、智慧矿山等数字孪生项目中，经常 使用 UE 来开发三维可视化场景。在这些场景中通常都需要把现场的各种监控视 频在 UE 的可视化场景中接入，主要包含海康威视、大华、宇视、华为等众多监 控厂商的设备与平台，监控视频流都是通过 RTSP 协议实时传送。 但是，在 UE 中没有好用的 RTSP 实时流播放插件，当前仅有一款 UMP 播放 插件（基于 VLC 播放器开发的，但是延时很大，通常在 3 秒以上） ，根本无法满 足实时播放的需要。比如远程指挥和应急通信、抢险救灾等应用，要求端到端延 时在 500ms 以内，否则基于这种过时的视频信号做出的所有判断和决定将带来 极其严重的后果，比如通过视频远程操控无人机、远程操控无人驾驶车辆等。 部分安防监控厂商也推出了视频播放解决方案， 比如海康的统一视频监控平 台可以输出 HLS 的 m3u8 格式的网络流，这种格式可以在 H5 浏览器中播放，嵌 入到 UE 中调用 CEF 嵌入式浏览器播放时延时更大（通常在 10 秒以上） ，也远远 无法满足项目需求。 因此，行业内急需一套成熟的低延时视频接入解决方案，从而满足基于 UE 开发的各种可视化平台业务的需要。 第第2 2章章 解决方案实现解决方案实现 经过十多年的流媒体技术研发积累和对当前各种应用场景的调研分析， 北京顺景科技有 限公司历时两年多时间开发了一款通用的低延时视频接入解决方案， 我们采用 B/S 架构方式 来实现这个功能，该方案可以实现在终端 H5 浏览器中超低延时播放，端到端播放延时可以 4 / 9 控制在 500ms 以内，在 UE 中可以调用 CEF 实现嵌入式播放。 实现效果如下 2.12.1 技术架构技术架构 首先， 该方案基于多协议视频转码技术和低延时流媒体直播发布技术来实现， 整个方案的架构如下 5 / 9 2.22.2 功能模块构成功能模块构成 该方案主要由三部分组成，分别是低延时转码推流工作站、低延时流媒体发 布服务器、低延时 H5 网页播放器 1. 低延时转码推流工作站 主要功能是将前端监控摄像头的 RTSP 网络流拉取后进行实时转码，然 后推送给低延时流媒体发布服务器。 该工作站根据不同的使用环境，可以采用软件PC 架构实现，也可以采 用嵌入式低功耗设备实现（主要用于户外场景不便于维护的场合） 。 2. 低延时流媒体发布服务器 6 / 9 用于接收低延时转码推流工作站推送上来的视音频信号，然后将其以流 媒体的方式进行实时发布。 该平台采用通用的硬件服务器流媒体平台软件来实现，可以为用户有 效节省投资。 低延时流媒体发布服务器 可以实现如下功能 1） 支持上千个网络摄像头的并发接入； 2） 支持 PC、智能手机、等多终端设备通过 H5 浏览器直接播放； 3） 单台服务器支持 1000 以上用户并发收看； 4） 支持按需拉流转发，从而节约服务器端的带宽资源消耗； 5） 支持直播节目的同步录制功能，录制完成后可以自动生成点播内容； 6） 支持服务器的性能和状态监控，包括 CPU 和内存占用率、实时连接 数、网络带宽占用等。 7） 多终端自动适配技术。 针对当前主流的客户端设备，我们开发了终端自适应播放功能，可以 自动适配 PC 端的主流浏览器（Fifrfox、Chrome、Safari） ，Android 端的 HTML5 浏览器，iOS 端的 HTML5 浏览器，微信小程序等。 7 / 9 低延时流媒体发布服务器 3. 低延时 H5 网页播放器 该播放器主要用于实时接收流媒体服务器发布的直播流， 然后将其以 H5 的方式进行实时解码播放。该播放器经过深度优化设计，只缓冲 12 帧 数据，具有快速接收和解码能力。主要特性如下 1） 接收和解码延时极低，通常在 40ms 左右，最高不超过 80ms； 2） 支持 MSE 硬件加速解码； 3） 支持主流的浏览器， 包括 UE 嵌入式 CEF 浏览器、 Chrome、 Edge、 8 / 9 Fifrfox、Safari 等； 4） 支持高清和 VR 视频播放； 5） 可以适配多种操作系统终端，包括 Windows 系统、Linux 系统、 Android 系统、iOS 系统、国产信创系统（麒麟、统信等） ； 2.32.3 方案方案效果效果 经过大规模的应用场景使用，当前该系统可以达到如下效果 在局域网和专网环境下，端到端的直播延时通常在 300ms 以内； 在互联网环境下，端到端的直播延时通常在 500ms 以内； 在 UE 的 CEF 内嵌式播放中，可以支持到 4K60FPS 实时解码，画面播放 流畅。 9 / 9 2.42.4 在线测试在线测试 我们搭建了一个公网的在线测试环境，感兴趣的朋友可以通过该系统自行测试， 技术交流17346586185 （微信同号）