ffmedia如何设置帧等待时间

dengkx · 发表于 2023-9-20 09:56:55

回调不出去，那模块就无法处理下一帧，所以你可以在回调等待1秒，或者你用个定时器一秒再去拿帧

dengkx · 发表于 2023-9-20 16:10:17

chenll 发表于 2023-9-20 12:47
我在回调函数中做了等待，但是有时候会出现报错，请问这个是什么原因

你的是rtsp实时流，如果你阻塞了链路，那么rtsp会因为缓冲区满而丢帧，导致解码器就无法解出p帧，p帧需要参考前一帧才能解出来。如果是实时流，就不能阻塞，可以使用过滤或者隔帧推理

dengkx · 发表于 2023-9-20 17:24:37

chenll 发表于 2023-9-20 16:53
请问过滤或者隔帧推理这个有demo吗，ffmedia_release 如何隔帧推理

隔帧推理，每过几帧推理一帧. 最新的ffmedia初步支持了rknn，可以看下

dengkx · 发表于 2023-9-21 10:01:58

chenll 发表于 2023-9-20 19:15
https://gitlab.com/firefly-linux/ffmedia_release

我在这里的主分支的demo.py文件中没有看到隔振推 ...

demo在rknn/src下，py的只添加了接口，还没写出demo。你可以认为推理时间大于视频帧间隔，可以跳过一帧或多帧再推理一帧，后面跳过的帧继续使用这帧的推理结果直到再次推理

dengkx · 发表于 2023-9-22 15:42:45

chenll 发表于 2023-9-21 12:17
等不能说一下py的接口是哪个，我看了demo.cpp 但是没有找到是哪里使用的，因看不懂C

看demo/Readme.md 在使用rknn推理的例子是仓库下的rknn/src/demo_rknn.cpp。你可以按照demo/Readme.md 编译出demo_rknn，然后按照文档运行他

dengkx · 发表于 2023-9-26 16:56:46

chenll 发表于 2023-9-22 19:42
我对照demo_rknn.cpp写了一个py版本的但是加载rknn 模型时候出现了问题

setModelDatac的参数类型没有转换处理，下个版本修复该问题

dengkx · 发表于 2023-10-8 14:45:40

chenll 发表于 2023-9-22 19:42
我对照demo_rknn.cpp写了一个py版本的但是加载rknn 模型时候出现了问题

新版本可以推理了，就是不知道py那边需要的数据类型是什么，暂时将c++的推理结果数据（uint8）实例成py数组，再把这些数组合成list，所以使用模块的getOutputList()获取推理结果

dengkx · 发表于 2023-10-17 11:16:31

要传模型路径，他应该是没找到你输入的模型文件，把他当做模型数据了。检测一下你输入的模型路径对不对，或者使用绝对路径

dengkx · 发表于 2023-10-17 11:26:05

chenll 发表于 2023-10-17 11:25
这个是设置的路径dec.setModelData('/home/firefly/project/iot_firefly.rknn', 1)

fireflyÄfire ...

使用文件大小要设置0

dengkx · 发表于 2023-10-17 15:56:44

本帖最后由 dengkx 于 2023-10-17 16:02 编辑

chenll 发表于 2023-10-17 12:31
这个设置的没有效果，还是每一帧都在做推理

回调是每一帧都会调用的，设置了隔帧推理间隔那里面就会间隔多少帧再去推理，如果你设置了1000，那么推理结果会过一千帧才会改变，你可以打印一下结果。像我们的demo_rknn 如果设置隔帧越大，现象就是画框跟不上人的移动越明显，因为他当前帧没有推理，还是使用之前帧的推理结果去画框，所以画框跟不上人移动

[人工智能] ffmedia如何设置帧等待时间