运行SOPHON-DEMO的Qwen出现内存报错

bing20138 · 发表于 2024-6-17 16:52:56

这样改还是会内存报错

bing20138 · 发表于 2024-6-17 16:59:32

bing20138 发表于 2024-6-17 16:52
这样改还是会内存报错

现在模型是用firefly官方的模型文件

Multius · 发表于 2024-6-17 17:07:44

bing20138 发表于 2024-6-17 16:48
换QWEN1.5会报AttributeError: module 'sophon.sail' has no attribute 'EngineLLM'

才注意到仓库的差异，关于大模型的部署，我们优先推荐参考LLM-TPU这个仓库，目前我们的模型部署代码均以此仓库作为参考标准

bing20138 · 发表于 2024-6-17 18:02:26

我现在LLM-TPU工程，执行./run.sh --model qwen1.5-1.8b --arch soc会报cp: cannot stat 'chat.cpython-310-x86_64-linux-gnu.so': No such file or directory错误

Multius · 发表于 2024-6-18 09:23:00

bing20138 发表于 2024-6-17 18:02
我现在LLM-TPU工程，执行./run.sh --model qwen1.5-1.8b --arch soc会报cp: cannot stat 'chat.cpython-310 ...

这个./run.sh 脚本有问题，在机器上编译是生成不了x86的.so文件的，这里需要修改这个脚本或者参考./run.sh脚本最后一段手动运行

bing20138 · 发表于 2024-6-18 09:32:53

Multius 发表于 2024-6-18 09:23
这个./run.sh 脚本有问题，在机器上编译是生成不了x86的.so文件的，这里需要修改这个脚本或者参考./run.s ...

好的，已解决，3Q3Q 就是run_demo.sh脚本问题

[技术讨论] 运行SOPHON-DEMO的Qwen出现内存报错