Firefly开源社区

标题: 多模型同时推理，npu推理速度问题 [打印本页]

作者: 雪雷 时间: 2022-11-2 14:13
标题: 多模型同时推理，npu推理速度问题
我这边多个模型同时推理，时间成倍增加，
比如：1个模型假设推理时间是50毫秒，两个模型同时推理测试是100毫秒，这个现象是正常的吗？多模型推理时间上可以优化加快吗
tchip_askquestions

firefly日志.txt

9 Bytes, 下载次数: 2, 下载积分: 灯泡 -1 , 经验 -1

作者: penguin 时间: 2022-11-3 14:22
这个现象是正常的，多个模型不能并行执行，在底层会维护一个fifo排队执行

欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/)