将1808上的推理代码移植到3399pro，推理速度变慢
原来在1808计算棒上部署过一段推理代码，速度大约在500ms内，但是将代码移植到3399pro上，速度变成3000ms左右，模型都是onnx转rknn，fp16精度，转换时平台也换为3399pro了。也更换了库文件librknn_api.so，驱动版本1.71，API版本1.70。程序运行时初始化成功，不知道问题出在哪里，除了改精度和优化模型能省时间外，感觉不应该降速太多，是否还有其它地方需要更改。参考WIKI：
https://wiki.t-firefly.com/zh_CN/3399pro_npu/npu_intro.html
AIO-3399ProC 开发者需要注意：
NPU推理阶段会与CPU进行数据通信，单次传输数据量少但频率高，但是与USB3.0相比PCIE不适合小文件传输。所以导致使用 “PCIE连接的NPU” 会比使用 “USB3.0方式连接的NPU” 在实际推理速度上慢很多。为了解决这个问题，我们制作了相关PCIE-NPU加速补丁，最终结果是推理速度追平“USB3.0方式连接的NPU”，具体使用方法和注意事项请查看补丁注释。
相关帖子：
https://dev.t-firefly.com/thread-120676-1-1.html
https://dev.t-firefly.com/thread-104550-1-1.html
页:
[1]