雪雷 发表于 2022-11-2 14:13:46

多模型同时推理，npu推理速度问题

我这边多个模型同时推理，时间成倍增加，
比如：1个模型 假设推理时间是50毫秒，两个模型同时推理测试是100毫秒，这个现象是正常的吗？多模型推理时间上可以优化加快吗

penguin 发表于 2022-11-3 14:22:54

这个现象是正常的，多个模型不能并行执行，在底层会维护一个fifo排队执行
页: [1]
查看完整版本: 多模型同时推理，npu推理速度问题