RK3588移植RKLLM

菜菜喜欢小可爱

我通过基础下载的基础SDK repo同步到了1.3.0e，然后我在这个基础上移植了rkllm，我从官方gitlab拉取了kernel 5.10.198的源码直接替换了1.3.0e sdk下的kernel源码并按照rkllm修改了rknpu驱动代码，现在可以成功跑起rkllm，但我感觉问答速度有点慢，问了官方客服说1.4.0e 版本就是5.10.198的，麻烦请问一下为什么repo不能同步到1.4.0，如果不能同步的话，我要怎么下载1.4.0的sdk。
顺便请问一下贵公司目前移植好rkllm了吗，测试速度如何，我测试出来问答大概每秒5-8个字，个人觉得和官方现象差距有点大

菜菜喜欢小可爱

5.10.198的目前可以repo下载了，但是跑qwen1.8b的模型速度上还是和官方有比较大差距，cpu 的占用率极高，这和其他板子的差异性极大，我看其他板子的cpu占用率都很低，请问一下贵公司目前的rkllm模型跑下来的实际数据如何？

799959745

rkllm 没有试过，现在 rkllm 是 beta 版本。3588 npu 的库文件也要更新到 2.0beta 版本。

799959745

当前 3588 npu 的版本是 1.6.0 。由于 2.0版本是 beta 版本，没有放进 ubuntu 系统里面，需要自行更新调试。

菜菜喜欢小可爱

799959745 发表于 2024-4-24 11:38
当前 3588 npu 的版本是 1.6.0 。由于 2.0版本是 beta 版本，没有放进 ubuntu 系统里面，需要自行更新调试 ...

npu驱动我已经修改到最新的了 0.9.6

菜菜喜欢小可爱

rkllm的移植目前我按照官方教程已经移植好了，主要的现象其实是cpu占用率很高，但是我看网上给出的数据里 cpu的占用率正常都是在50%左右，但我在板端跑起有106%

799959745

你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rknpu2 仓库能找到最新的 2.0 版本进行替换。

菜菜喜欢小可爱

799959745 发表于 2024-4-24 11:53
你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rk ...

usr/lib下的那几个库我也全部替换了 替换成rknpu2库里的了

菜菜喜欢小可爱

799959745 发表于 2024-4-24 11:53
你更新的是内核驱动，还有文件系统的 npu 驱动也要更新。更新 librknnrt.so 文件和头文件。在 github 的 rk ...

没替换前速度更慢，替换完好了很多了，但还是和其他厂家板的差距比较大
这是链接https://www.bilibili.com/video/B ... arch-card.all.click

799959745

给 cpu 和 npu 定频试一下