Firefly开源社区

12
发表新贴

多路RTSP流解码:最高可支持12路视频编解码

853

积分

0

威望

0

贡献

管理员

Rank: 9Rank: 9Rank: 9

积分
853
发表于 2020-1-4 10:09:35     
      RK3399/RK3328具有强大的视频编解码能力,Soc集成的硬件视频编解码器VPU,能同时处理多路视频的编解码,Soc集成的图形加速引擎RGA, 可以高效地处理图形缩放、旋转、颜色空间转换等操作。结合VPU和RGA,可以高效地实现视频流的解码和后处理,作为第三方应用处理的数据源。



调用API

        Rockchip开发的mpp库,提供了非常易于使用API,通过各种不同的控制项,可以适应多种不同场景的视频编解码应用。


硬件准备

      RK3399平台:AIO-3399C主板 + 12路摄像头

12路视频.jpg


       RK3328平台:RK3328行业主板 + 6路摄像头


6路视频.jpg


运行Demo

      Firefly在RK3399和RK3328 Ubuntu平台上, 针对目前最常见的场景,提供了一个多路RTSP流解码的Demo,Demo支持在RK3399平台上, 同时解12路H264/H265 RTSP,测试流帧率为25fps,无丢帧,低延时,CPU占用率较低(基本只用于RTSP流接收和封包)。在RK3328平台上,同时能解6路H264/H265 RTSP。


demo.jpg


运行过程
      Demo中,MPP解码->图像后处理->显示整个流程中,VPU和RGA都是直接访问内存物理地址,整个过程零内存拷贝,效率很高。处理后的数据,通过libdrm接口,直接送往显示接口输出。

      Demo对解码后的图像输出数据,只做了显示处理,如果在实际应用中需要对图像做处理,可能会导致帧率下降。


演示效果

运行时效果图如下:

图片1.png

实时帧率
   
      实时帧率计算结果如下:
帧率.jpg


安装方法

Demo运行在RK3399 或 RK3328 Ubuntu 18.04平台上。

1. 确认系统中存在 /dev/rga 设备节点。 如果没有此节点, 请参考wiki更新最新的固件。
2. 安装:
  1. $ sudo apt update   
  2. $ sudo apt install firefly-multi-rtsp
复制代码

3.根据实际环境,修改配置文件。 参照下一节配置参数。
4. 运行:
  1. $ sudo test_ff_rtsp_dec
复制代码

5. 退出:

运行过程中,按Enter键,退出Demo, 由于退出时需要关闭多路rtsp流,所以退出时需要稍作等待。

配置参数

Demo中提供了一个配置文件config.json,用于配置demo的运行环境。

配置文件位于/etc/ff_rtsp_dec/config.json ,json格式。(注意不要在config.json中添加注释,否则可能会导致json解析出错)


主要配置项如下

基础参数:
  1.     "basepara" : {
  2.         "dri_path" : "/dev/dri/card0",  //不要修改
  3.         
  4.         "prefer_monitor_w" : 1920,
  5.         "prefer_monitor_h" : 1080,
  6.         
  7.         "code_type" : "H265", //rtsp流编码类型,H264/H265
  8.          "line_count" : 12,  //rtsp流数量
  9.          
  10.          "output_w" : 480,  //每一路解码后的输出size.
  11.          "output_h" : 360,
  12.          
  13.          "rotate" : 0 //旋转   未使用
  14.          
  15.          },
复制代码

其中prefer_monitor_w 和 prefer_monitor_h是配置外接显示设备的分辨率。
1. 配置外接显示设备的分辨率,仅在显示设备支持多种分辨率(如HDMI、DP等显示器)时有效,如果显示设备支持该分辨率,则将显示设备设置为该分辨率。
2. LVDS, MIPI屏该配置无效(但仍需保留该配置项,只是配置值无效),因为LCD支持一种分辨率。
3. 配置此参数后,Demo将显示设备设置为对应的分辨率,然后计算该分辨率是否能够完整显示所有路RTSP解码后的输出。如果不能显示,应该减小rtsp流数量,或者减小输出尺寸。
  1.     line_h = prefer_monitor_w / output_w;
  2.     line_v = prefer_monitor_h / output_h;
  3.     line_h * line_v <= line_count
复制代码

RTSP 参数

  1.     "rtsp" : [
  2.         {
  3.             "id" : 0, //id
  4.             "url" : "rtsp://168.168.3.100:554/av_stream",   //url
  5.             "usr" : "admin", //username
  6.             "pwd" : "firefly123", //password
  7.             "tcp" : false // Is tcp?
  8.          },
  9.       ...
  10.       ]
复制代码


RTSP参数为一个数组,配置每一路rtsp流的参数。






———————————————
更多信息请关注Firefly公众微信号fireflytee:

———————————————
Firefly官网:http://www.t-firefly.com

Firefly开源社区:http://developer.t-firefly.com














回复

使用道具 举报

38

积分

0

威望

0

贡献

技术小白

积分
38
发表于 2020-1-4 20:05:33     
对这个方案很感兴趣。咨询一下,12路摄像头是怎么接在板子上的,用的是什么摄像头,板子上走什么接口?
回复

使用道具 举报

683

积分

2

威望

4

贡献

技术大神

Rank: 3Rank: 3

积分
683
发表于 2020-1-15 09:51:33     
网络摄像头, 以太网口。
回复

使用道具 举报

43

积分

0

威望

0

贡献

技术小白

积分
43
发表于 2020-1-17 10:41:06     
楼主你好,是否可以提供一下源码呢
回复

使用道具 举报

14

积分

0

威望

0

贡献

技术小白

积分
14
发表于 2020-1-20 16:42:01     
本帖最后由 fencer 于 2020-1-20 17:16 编辑

我在rk3328-cc上运行总是提示taskset failed to set pid affinity: invalid argument 是什么原因?
找到了原因是test_ff_rtsp_dec中有taskset有问题,需要更改
回复

使用道具 举报

3

积分

0

威望

0

贡献

吃瓜的群众

积分
3
发表于 2020-2-13 13:17:07     
这个能否在3188系列上运行?源代码是否开放?
回复

使用道具 举报

19

积分

0

威望

0

贡献

技术小白

积分
19
发表于 2020-2-26 16:20:48     
fencer 发表于 2020-1-20 16:42
我在rk3328-cc上运行总是提示taskset failed to set pid affinity: invalid argument 是什么原因?
找到了 ...

我也遇到了这个问题,请问test_ff_rtsp_dec是哪个文件
回复

使用道具 举报

19

积分

0

威望

0

贡献

技术小白

积分
19
发表于 2020-2-26 16:24:46     
fencer 发表于 2020-1-20 16:42
我在rk3328-cc上运行总是提示taskset failed to set pid affinity: invalid argument 是什么原因?
找到了 ...

找到位置了,请问怎么修改才能正确运行
回复

使用道具 举报

19

积分

0

威望

0

贡献

技术小白

积分
19
发表于 2020-3-3 08:48:21     
能提供源码参考下吗
回复

使用道具 举报

683

积分

2

威望

4

贡献

技术大神

Rank: 3Rank: 3

积分
683
发表于 2020-3-7 12:45:37     
这个应用程序有更新, 请
apt update
apt install firefly-multi-rtsp
重新测试
回复

使用道具 举报

返回列表
12
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友情链接 : 爱板网 电子发烧友论坛 云汉电子社区 粤ICP备14022046号-2
快速回复 返回顶部 返回列表