Firefly开源社区

12
发表新贴
打印 上一主题 下一主题

[技术讨论] 运行SOPHON-DEMO的Qwen出现内存报错

43

积分

0

威望

0

贡献

技术小白

积分
43
发表于 2024-6-17 16:52:56        只看该作者  11#
这样改还是会内存报错
回复

使用道具 举报

43

积分

0

威望

0

贡献

技术小白

积分
43
发表于 2024-6-17 16:59:32        只看该作者  12#
bing20138 发表于 2024-6-17 16:52
这样改还是会内存报错

现在模型是用firefly官方的模型文件
回复

使用道具 举报

47

积分

0

威望

0

贡献

技术小白

积分
47
发表于 2024-6-17 17:07:44        只看该作者  13#
bing20138 发表于 2024-6-17 16:48
换QWEN1.5会报AttributeError: module 'sophon.sail' has no attribute 'EngineLLM'

才注意到仓库的差异,关于大模型的部署,我们优先推荐参考LLM-TPU这个仓库,目前我们的模型部署代码均以此仓库作为参考标准
回复

使用道具 举报

43

积分

0

威望

0

贡献

技术小白

积分
43
发表于 2024-6-17 18:02:26        只看该作者  14#
我现在LLM-TPU工程,执行./run.sh --model qwen1.5-1.8b --arch soc会报cp: cannot stat 'chat.cpython-310-x86_64-linux-gnu.so': No such file or directory错误
回复

使用道具 举报

47

积分

0

威望

0

贡献

技术小白

积分
47
发表于 2024-6-18 09:23:00        只看该作者  15#
bing20138 发表于 2024-6-17 18:02
我现在LLM-TPU工程,执行./run.sh --model qwen1.5-1.8b --arch soc会报cp: cannot stat 'chat.cpython-310 ...

这个./run.sh 脚本有问题,在机器上编译是生成不了x86的.so文件的,这里需要修改这个脚本或者参考./run.sh脚本最后一段手动运行
回复

使用道具 举报

43

积分

0

威望

0

贡献

技术小白

积分
43
发表于 2024-6-18 09:32:53        只看该作者  16#
Multius 发表于 2024-6-18 09:23
这个./run.sh 脚本有问题,在机器上编译是生成不了x86的.so文件的,这里需要修改这个脚本或者参考./run.s ...

好的,已解决,3Q3Q 就是run_demo.sh脚本问题
回复

使用道具 举报

返回列表
12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

友情链接 : 爱板网 电子发烧友论坛 云汉电子社区 粤ICP备14022046号-2
快速回复 返回顶部 返回列表