Firefly开源社区

标题: 将1808上的推理代码移植到3399pro，推理速度变慢 [打印本页]

作者: finderyao 时间: 2022-6-1 10:57
标题: 将1808上的推理代码移植到3399pro，推理速度变慢
原来在1808计算棒上部署过一段推理代码，速度大约在500ms内，但是将代码移植到3399pro上，速度变成3000ms左右，模型都是onnx转rknn，fp16精度，转换时平台也换为3399pro了。也更换了库文件librknn_api.so，驱动版本1.71，API版本1.70。程序运行时初始化成功，不知道问题出在哪里，除了改精度和优化模型能省时间外，感觉不应该降速太多，是否还有其它地方需要更改。
tchip_askquestions

log.txt

1.85 KB, 下载次数: 0, 下载积分: 灯泡 -1 , 经验 -1

作者: 895816513 时间: 2022-7-12 09:15
参考WIKI：
https://wiki.t-firefly.com/zh_CN/3399pro_npu/npu_intro.html

AIO-3399ProC 开发者需要注意：

NPU推理阶段会与CPU进行数据通信，单次传输数据量少但频率高，但是与USB3.0相比PCIE不适合小文件传输。所以导致使用 “PCIE连接的NPU” 会比使用 “USB3.0方式连接的NPU” 在实际推理速度上慢很多。为了解决这个问题，我们制作了相关PCIE-NPU加速补丁，最终结果是推理速度追平“USB3.0方式连接的NPU”，具体使用方法和注意事项请查看补丁注释。

相关帖子：
https://dev.t-firefly.com/thread-120676-1-1.html

https://dev.t-firefly.com/thread-104550-1-1.html

欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/)