Firefly开源社区

标题: 有没有推荐的模型推理服务器？ [打印本页]

作者: 魔峥 时间: 2021-12-15 10:13
标题: 有没有推荐的模型推理服务器？
我想用3390pro-JD4，做终端盒子。想找一个模型推理服务器。
原来在工作站使用的是tensorRT的triton。3399上肯定不行。有没有推荐的？

欢迎光临 Firefly开源社区 (https://dev.t-firefly.com/)