基于RK3588+FPGA的无人机低延迟高实时视频传输模块_fpga实现rtsp

随着物联网和人工智能的快速发展，实时视频传输在嵌入式系统中变得越来越重要。无论是智能摄像头、无人机还是工业监控设备，都需要高效、低延迟的流媒体传输解决方案。

信迈推出的LLSM低延迟低带宽流媒体传输模块，就能够实现在500K带宽环境下进行稳定的流媒体传输，且延迟在50ms左右（不含数据链）。

该结果基于我们团队完整而周密的延迟测试！

目前大多数流媒体视频典型的传输链路如下：

摄像头成像输出 -> 流媒体传输模块处理 -> 拉流端显示

于是我们从这三个方面入手。

测试设备如下：

• 采集端：SDI相机，分辨率 1080p@60HZ

• 处理端：Rockchip RK3588，自带硬件编解码器

• 拉流端:

1. CPU：Intel Xeon E5-2650 v2 @ 2.6GHZ

2. GPU: Nvidia GeForce RTX 2060

3. 显示器：2k@120HZ显示器，支持 PiP（可同时接收两个输入源，并以画中画的方式显示）

4. 网路环境：本地局域网

成像延时测试

测试目的：在同分辨率同帧率的条件下，对比不同相机的成像延时。

测试步骤：

1. 显示器同时接入两个输入源，并开启画中画模式。

2. 一个输入源接电脑输出

3. 一个输入源接相机，相机通过SDI转HDMI转换器接入（该转化器延时约为10ms）。

4. 在电脑上运行高帧率秒表程序，相机对准秒表程序。

5. 使用高帧率相机对屏幕进行拍照，照片中两个秒表的差值即为相机的成像延时。

测试结果：

厂家一相机测试结果如图，减去转换器延时，相机延时为 23ms。

厂家二相机测试结果如图，减去转换器延时，相机延时为 61ms。

不同协议下的整体延时测试

测试目的：在整体链路相同的条件下，对比使用不同协议时，整个链路的整体延时。

测试步骤：

1. 使用延时为 23ms 的相机，接入 RK3588 流媒体模块。

2. 在电脑上运行高帧率秒表程序，相机对准秒表程序。

3. 在电脑上运行专用拉流软件，进行拉流显示。

4. 对整个屏幕进行高帧率录屏。

5. 使用 vlc 按帧查看视频，视频中两个秒表的差值即为整体延时。

6. 更换 RK3588 流媒体模块的流媒体协议，重复上述步骤。

测试结果：

首先确认录制的视频确实为 120Hz！

使用 rtsp 协议的整体延时为 100ms。

使用 rtmp 协议的整体延时为 108ms。

使用自定义协议的整体延时为 60ms。

拉流端延时测试

测试目的：在整体链路相同的条件下，对比使用不同拉流软件时，整个链路的整体延时。

测试步骤：

1. 与上述不同协议下的整体延时测试的测试步骤相同。

2. 流媒体协议固定为 rtsp，使用不同的拉流软件。

测试结果：

使用专用拉流软件，延时为 100ms。

使用 vlc 进行拉流播放，延时为 192ms。

大部分流媒体视频传输都有低带宽高画质的需求。常见的流媒体协议（rtsp，rtmp）传输的都是 H264/H265 码流，其传输时需要的带宽与编码后的码流大小相关。

于是我们通过设置不同码率，来对比成像画质，且观察带宽波动。