Firefly开源社区

打印 上一主题 下一主题

[技术讨论] 将1808上的推理代码移植到3399pro,推理速度变慢

899

积分

0

威望

6

贡献

技术大神

Rank: 8Rank: 8

积分
899
发表于 2022-7-12 09:15:40      楼主
参考WIKI:
https://wiki.t-firefly.com/zh_CN/3399pro_npu/npu_intro.html

AIO-3399ProC 开发者需要注意:

NPU推理阶段会与CPU进行数据通信,单次传输数据量少但频率高,但是与USB3.0相比PCIE不适合小文件传输。所以导致使用 “PCIE连接的NPU” 会比使用 “USB3.0方式连接的NPU” 在实际推理速度上慢很多。为了解决这个问题,我们制作了相关PCIE-NPU加速补丁,最终结果是推理速度追平“USB3.0方式连接的NPU”,具体使用方法和注意事项请查看补丁注释。

相关帖子:
https://dev.t-firefly.com/thread-120676-1-1.html

https://dev.t-firefly.com/thread-104550-1-1.html
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友情链接 : 爱板网 电子发烧友论坛 云汉电子社区 粤ICP备14022046号-2
快速回复 返回顶部 返回列表