RV1126 基于 rockx 实现的 isp 摄像头动态识别 demo

799959745

rockx 可以说是最简单上手模型。目前写了一些好玩的模型应用，识别效果也都还不错。有兴趣的朋友可以上手玩玩。SDK 代码仓库已经更新。想玩的朋友可以直接按照教程上手。

# 使用手册
* demo 目前只支持 CORE-1126-JD4/CORE-1109-JD4 板型。不支持智能双目摄像头模组 CAM-C1126S2U/CAM-C1109S2U。

编译 mk 文件选择

1. ./build.sh device/rockchip/rv1126_rv1109/aio-rv1126-xhlpr.mk

复制代码

* 由于默认 mk 文件会自动编译 XHLPR_APP 车牌识别。对应的 buildroot 配置文件 sdk/buildroot/configs/firefly_rv1126_rv1109_xhlpr_defconfig 。
如不需要 XHLPR_APP 请保证 buildroot/configs/firefly_rv1126_rv1109_xhlpr_defconfig 已经关闭 XHLPR_APP 编译配置

1. BR2_PACKAGE_XHLPR_APP=n

复制代码

* 请保证 buildroot 已经打开以下配置

1. # OPENCV3
   
2. BR2_PACKAGE_OPENCV3=y
   
3. BR2_PACKAGE_OPENCV3_LIB_CALIB3D=y
   
4. BR2_PACKAGE_OPENCV3_LIB_FEATURES2D=y
   
5. BR2_PACKAGE_OPENCV3_LIB_FLANN=y
   
6. BR2_PACKAGE_OPENCV3_LIB_HIGHGUI=y
   
7. BR2_PACKAGE_OPENCV3_LIB_IMGCODECS=y
   
8. BR2_PACKAGE_OPENCV3_LIB_IMGPROC=y
   
9. BR2_PACKAGE_OPENCV3_LIB_ML=y
   
10. BR2_PACKAGE_OPENCV3_LIB_OBJDETECT=y
    
11. BR2_PACKAGE_OPENCV3_LIB_PHOTO=y
    
12. BR2_PACKAGE_OPENCV3_LIB_SHAPE=y
    
13. BR2_PACKAGE_OPENCV3_LIB_STITCHING=y
    
14. BR2_PACKAGE_OPENCV3_LIB_SUPERRES=y
    
15. BR2_PACKAGE_OPENCV3_LIB_TS=y
    
16. BR2_PACKAGE_OPENCV3_LIB_VIDEOIO=y
    
17. BR2_PACKAGE_OPENCV3_LIB_VIDEO=y
    
18. BR2_PACKAGE_OPENCV3_LIB_VIDEOSTAB=y
    
19. BR2_PACKAGE_OPENCV3_WITH_FFMPEG=y
    
20. BR2_PACKAGE_OPENCV3_WITH_GSTREAMER1=y
    
21. BR2_PACKAGE_OPENCV3_WITH_JASPER=y
    
22. BR2_PACKAGE_OPENCV3_WITH_JPEG=y
    
23. BR2_PACKAGE_OPENCV3_WITH_PNG=y
    
24. BR2_PACKAGE_OPENCV3_WITH_PROTOBUF=y
    
25. BR2_PACKAGE_OPENCV3_WITH_TIFF=y
    
26. BR2_PACKAGE_OPENCV3_WITH_V4L=y
    
27. BR2_PACKAGE_OPENCV3_WITH_WEBP=y
    
28. 
    
29. # firefly_rockx_demo
    
30. BR2_PACKAGE_FIREFLY_ROCKX_DEMO=y

复制代码

* 编译（回到 sdk 根目录执行）

1. ./build.sh buildroot

复制代码

* 文件系统更新
文件系统固件路径：sdk/rockdev/rootfs.img

1. 烧录命令：
   
2. upgrade_tool di -rootfs rockdev/rootfs.img

复制代码

更多有关 buildroot 系统相关的资料与教程请移步：https://wiki.t-firefly.com/zh_CN/Firefly-RK3399/buildroot_develop.html。这里就不再赘述。

* PC Linux vlc 软件预览识别画面。需要将设备 ip 对应到链接。

1. vlc rtsp://<设备ip>:8554/H264_stream_0

复制代码

* 可直接在浏览器输入设备 ip 即可预览识别画面（由于播放器的原因，可能会有些许卡顿）。默认账号和密码登录网页：

1. 账号：admin
   
2. 密码：admin

复制代码

* 修改识别分辨率为 2K。修改文件 rockx_app.cfg ：

1. 修改前：c:activation_conf_path=/usr/share/firefly_rockx_demo/licSever/activation.conf licSever_path=/usr/share/firefly_rockx_demo/licSever VideoNode=rkispp_scale1 VideoType=6 EnImageType=4 EnVideoWidth=1920 EnVideoHeight=1080 InImageType=4 OutImageType=18 InVideoWidth=720 InVideoHeight=576 OutVideoWidth=720 OutVideoHeight=576
   
2. 
   
3. 修改后：c:activation_conf_path=/usr/share/firefly_rockx_demo/licSever/activation.conf licSever_path=/usr/share/firefly_rockx_demo/licSever VideoNode=rkispp_scale1 VideoType=6 EnImageType=4 EnVideoWidth=1920 EnVideoHeight=1080 InImageType=4 OutImageType=18 InVideoWidth=2688 InVideoHeight=1520 OutVideoWidth=2688 OutVideoHeight=1520

复制代码

* 请确保 VI 接口（摄像头）没有被占用。请尝试执行：RkLunch-stop.sh 关闭摄像头服务。
* 手动参考示例执行 demo。或根据需求修改以下脚本然后执行启动。

1. # 默认启动车牌识别
   
2. /usr/share/firefly_rockx_demo/start_rockx_app.sh

复制代码

* 手动执行示例 demo 则需要手动执行网页推流（不执行则网页无法预览识别结果）

1. # 只推流视频命令
   
2. ffmpeg -f rtsp -rtsp_transport tcp -i "rtsp://127.0.0.1:8554/H264_stream_0" -c  copy -f flv "rtmp://127.0.0.1/live/mainstream" &
   
3. 
   
4. # 同时推流视频和音频命令（目前只有运行示例 rockx_face_attribute 的 rockx_face_attribute_aenc_venc_rtsp_service 能执行以下命令）
   
5. ffmpeg -f rtsp -rtsp_transport tcp -i "rtsp://127.0.0.1:8554/H264_stream_0" -i "rtsp://127.0.0.1:8555/audio_stream_0" -c  copy -f flv "rtmp://127.0.0.1/live/mainstream" &

复制代码

# 示例

* rockx_carplate
# 说明
* 车牌识别
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_carplate_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_carplate_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果



* 终端打印



* rockx_face_attribute
# 说明
* 人脸特征点定位（只推流视频，无音频推流）
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_face_attribute_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_face_attribute_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果



* rockx_face_attribute
# 说明
* 人脸特征点定位（同时推流音频和视频）
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_face_attribute_aenc_venc_rtsp_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_face_attribute_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
3. 
   
4. # ffmpeg 命令需要修改成以下命令
   
5. ffmpeg -f rtsp -rtsp_transport tcp -i "rtsp://127.0.0.1:8554/H264_stream_0" -i "rtsp://127.0.0.1:8555/audio_stream_0" -c  copy -f flv "rtmp://127.0.0.1/live/mainstream" &

复制代码

* demo 效果



* rockx_face_landmark
# 说明
* 人脸关键点识别
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_face_landmark_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_face_landmark_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果



* rockx_face_masks_detection
# 说明
* 人脸口罩检测
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_face_masks_detection_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_face_masks_detection_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果
不戴口罩



戴口罩



* rockx_face_recognition
# 说明
* 人脸识别，需要手动输入图片。图片名字即识别显示 id。不支持中文 id 显示。
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_face_recognition_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_face_recognition_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg -i /path/to/id.jpg &

复制代码

* demo 效果
识别失败



识别成功



* rockx_head_detection
# 说明
* 人头检测
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_head_detection_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_head_detection_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果




* rockx_object_track
# 说明
* 人车物检测与追踪
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_object_track_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_object_track_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果



* rockx_person_detection
# 说明
* 人体识别
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_person_detection_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_person_detection_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果



* rockx_pose_body
# 说明
* 身体骨骼关键点定位
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_pose_body_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_pose_body_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果






* rockx_pose_finger
# 说明
* 手指关键点定位
# 代码路径
* app/firefly_rockx_demo/
# 快速使用

1. rockx_pose_finger_service -c /usr/share/firefly_rockx_demo/rockx_app.cfg &
   
2. rockx_pose_finger_client -c /usr/share/firefly_rockx_demo/rockx_app.cfg &

复制代码

* demo 效果

799959745

ubuntu 发表于 2021-9-22 17:06
build fail, 我用的`rv1126_rv1109_linux_ai_camera_release` REPO_SDK 软件包。
2021-09-22T15:53:09 ERR ...

仔细看一下说明：不支持智能双目摄像头模组 CAM-C1126S2U/CAM-C1109S2U。
应该使用rv1126_rv1109_linux_release

799959745

leo99 发表于 2021-9-23 16:01
我也遇到同样的问题了，按照wiki的提示编译固件提示进行的，然后编译时候说找不到/apprkaiq_switch_mode。 ...

用rv1126_rv1109_linux_release.xml编译就不会出问题

799959745

更新一下

799959745

leolee 发表于 2021-12-24 11:04
请问这个demo可以用usb摄像头实现吗

代码是针对isp摄像头的。如果要用usb摄像头，需要自己修改代码实现。

799959745

请问更新了 SDK 没？需要将 SDK 更新到最新。
如果已经更新到最新。cat /proc/version看一下信息。

799959745

东逝之水 发表于 2022-1-8 16:21
我是严格按照文档操作的。但是编译出现如下问题。
我使用的是C40PL机器。sdk也是对应地址下载的。执行./bu ...

请问更新了 SDK 没？需要将 SDK 更新到最新。
如果已经更新到最新。cat /proc/version看一下信息。

799959745

东逝之水 发表于 2022-1-10 10:55
[root@RV1126_RV1109:~]# cat /proc/version
Linux version 4.19.111 (rv1126@rv1126) (rv1126_rv1109_l ...

我验证一下

799959745

东逝之水 发表于 2022-1-10 16:33
您那边验证的怎么样？我编译了几次都是卡在undefined reference to `CARPLATE_RECOG_CODE'。

sdk 的 rockx 部分更新了，但是 firefly_rockx_demo 仓库没有同步过来，现在正在编译验证。firefly_rockx_demo已经编译通过了。功能还没验证

799959745

东逝之水 发表于 2022-1-11 08:37
功能能实现吗？我需要怎样做才能编译通过？

预计这两天内适配+验证。完成之后给你回复。