| 我这边多个模型同时推理，时间成倍增加， 比如：1个模型 假设推理时间是50毫秒，两个模型同时推理测试是100毫秒，这个现象是正常的吗？多模型推理时间上可以优化加快吗 |
-
-
9 Bytes, 下载次数: 2, 下载积分: 灯泡 -1 , 经验 -1
【技术讨论】 多模型同时推理，npu推理速度问题
问题描述及复现步骤:
| ||
|
发表于 2022-11-3 14:22:54
只看该作者
沙发
| ||
