对于相同的模型,固定1920,1080分辨率的图像输入,分别使用3566和3588S两个平台NPU做模型推断,推断时间由平均38000微秒提高至20000微秒,对应NPU算力提升了7倍这种结果并不算让人满意,除开对模型的int8量化以外还有哪些提高RKNN模型推断速度的方法? 此外调用rknn_set_core_mask函数设置为3核心共同工作似乎也没有生效(具体验证步骤是在模型推断过程中,cat /sys/kernel/debug/rknpu/load 不断查看NPU利用率,一直显示只有Core0的占用不是0),是否需要某些额外的设置才能生效,有没有类似研究经历的老哥带带孩子 |
-
59.88 KB, 下载次数: 0, 下载积分: 灯泡 -1 , 经验 -1