3399pro使用rknn模型推理慢有可能是系统原因吗？

lmg001 · 发表于 2023-2-24 14:35:28

在rk3399pro板子上使用rknn-toolkit-lite库推理yolov5s.rknn模型，单inference这一步，就要100ms以上，正常npu加速不可能这么慢啊，会不会和系统有关，根本没有调用npu进行加速？

使用的系统ubuntu18.04-minimal版，使用的python3.6，rknn-toolkit-lite1.7.3，驱动也是1.7.3，看资料都是在debian10上测试的，这会不会和系统有关？

chenll · 发表于 2023-9-21 15:03:33

我这里也是出现这个问题，请问你解决了吗

lmg001 · 发表于 2023-9-23 16:04:24

chenll 发表于 2023-9-21 15:03
我这里也是出现这个问题，请问你解决了吗

一百多毫秒已经是加速后的结果，如果没有npu加速的话，一次推理就要秒级以上。
至于网上那些几十毫秒一次的，我也不知道是怎么实现的

[技术讨论] 3399pro使用rknn模型推理慢有可能是系统原因吗？

【技术讨论】 3399pro使用rknn模型推理慢有可能是系统原因吗？