当前位置:首页 > 二手市场 > 正文内容

RKLLM模型下载、量化与格式转换

云智网2026-11-20二手市场4598

上一篇把 RK3576 的 NPU 驱动、RKLLM 运行时和电脑端的 rkllm 环境都准备好了。这一篇只做两件事:把 HuggingFace 上的原始模型拿下来,再把它变成板子能吃的 .rkllm。全程在电脑上完成,最后只把成品推到板子上验一眼。跟着做大约 30~60 分钟,主要时间花在下载和量化转换上。

实机环境:本系列全部步骤均在触觉智能(Industio)RK3576 开发板 EVB7609 V1上,配合触觉智能官方 RK3576 Linux 镜像实机调试验证。板端系统为 Debian 12(bookworm),内核 6.1.99,RKNPU 驱动 v0.9.8,Python 3.11.2。使用其他厂商的 RK3576 板卡或自行编译的镜像时,设备节点、网卡名称、频率节点路径可能不同,请以实际环境为准。

项目 内容
本篇目标 会选模型、会选量化格式、会下载、会生成校准数据、会转换、会验证产物
执行位置 电脑(Ubuntu 26.04,x86_64,conda 环境 rkllm);最后一步用到开发板
最终产物 models/Qwen2-0.5B-Instruct/、models/data_quant.json、Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
适用平台 RK3576(本文命令以 RK3576 为准;换到 RK3588 时,平台名和 NPU 核数要按平台重新确认)

本文的基准性能数字来自 SDK 的 benchmark.md(RK3576 平台,seqlen 128、new_tokens 64);本机转换产物和开发板实测的数字会单独标注。

0. 开始前:确认环境和执行位置

执行位置:电脑。

先确认当前终端真的在 rkllm 环境里。后面所有转换命令都依赖这个环境里的 rkllm-toolkit,不要用系统 Python。

conda activate rkllmcd/home/sc/code/RKLLM
whichhfhf versionpython -Vpython -c"import torch; print(torch.__version__, torch.cuda.is_available())"pip show rkllm-toolkit |head-2

预期输出(版本号必须对得上):

/home/sc/miniconda3/envs/rkllm/bin/hfversion=1.33.0Python 3.10.202.6.0+cpu FalseName: rkllm-toolkitVersion: 1.3.0

torch.cuda.is_available() 是 False,说明这是一台纯 CPU 机器。本篇的 0.5B 模型在 CPU 上转换没有问题,后面第 8 节会专门讲这个前提带来的坑。

如果 which hf 找不到,先 conda activate rkllm;再不行就回到上一篇检查 huggingface-hub 的安装。

1. 模型选型:RK3576 能跑哪些模型

执行位置:电脑(只做选择,不执行命令)。

RK3576 在 1.3.0 版本支持以下模型。

文本模型:

Qwen2 0.5B、MiniCPM4 0.5B、Qwen3 0.6B、TinyLLAMA 1.1B、RWKV7 1.5B、InternLM2 1.8B、Gemma2 2B、Gemma-3n 2B、TeleChat2 3B、Phi3 3.8B、MiniCPM3 4B、ChatGLM3 6B、Qwen3.5 0.8B/2B/4B、Gemma4 E2B。

多模态模型:

Qwen2-VL-2B、Qwen2.5-VL-3B、MiniCPM-V-2_6、SmolVLM-256M、Qwen3-VL-2B、DeepSeekOCR-3B、Qwen3.5-0.8B。

模型很多,不要一次全下。第一次部署先验证同类型里的一个,把下载、校准、转换、上板这条链路跑通,再换更大的模型。推荐的验证顺序:

阶段 建议模型 参数量 RK3576 benchmark 参考 说明
文本第一条 Qwen2-0.5B-Instruct 0.5B w8a8:21.73 tok/s,678.43MB 本文全程用它
文本 1.5B Qwen2.5-1.5B-Instruct 1.5B RK3576 表未列该模型;同量级 RWKV7 w4a16:10.18 tok/s,835.34MB 已下载,性能以自己实测为准
文本 3.8B Phi-3-mini-4K-Instruct 3.8B w4a16:6.58 tok/s,1995.78MB 已下载,运行内存约为 0.5B 的 4.5 倍
多模态第一条 Qwen3.5-0.8B(官方预转换) 0.8B w4a16_g128:17.88 tok/s,687.38MB;vision 编码 815ms 不用下载、不用转换,直接上板
多模态自己转 Qwen3-VL-2B-Instruct 2B w4a16:12.68 tok/s,1058.56MB;vision 编码 1.61s 用来练多模态转换

具体怎么选:

  1. 文本先跑 Qwen2-0.5B。0.5B 下载和转换都快,适合先把整条链路走通。
  2. 0.5B 跑通后,再上 1.5B(Qwen2.5-1.5B)和 3.8B(Phi-3-mini-4K)。注意 3.8B 的 w8a8 运行内存要 3767.28MB,已经接近板子 3.8GB 的总内存,实际部署基本只能选 w4a16。
  3. 多模态先拿 SDK 自带的 Qwen3.5-0.8B 预转换文件验证板端,能跑通之后再考虑自己转 Qwen3-VL-2B。
  4. 不要一上来就选 4B、6B。模型越大,转换越慢,出问题的环节也越多,不利于排查。

2. 量化格式:w4a16、w4a16_g128、w8a8 怎么选

执行位置:电脑(只做选择,不执行命令)。

RK3576 支持三种量化格式:

  • w4a16:权重 4bit,激活 16bit。文件最小、生成速度最快。
  • w4a16_g128:在 w4a16 基础上按 128 一组做分组量化,通常能换回一些精度。
  • w8a8:权重和激活都是 8bit。数值精度最高,但内存和带宽开销最大。

下面是 benchmark.md 里 RK3576 的原始数据,单元格格式为“生成速度 tok/s / 运行内存 MB”:

模型 w4a16 w4a16_g128 w8a8
Qwen2 0.5B 32.56 / 443.44 30.33 / 463.23 21.73 / 678.43
MiniCPM4 0.5B 34.57 / 334.68 32.66 / 374.36 23.28 / 541.17
TinyLLAMA 1.1B 19.71 / 601.09 18.08 / 690.76 12.18 / 1092.87
Phi3 3.8B 6.58 / 1995.78 6.06 / 2151.47 3.74 / 3767.28
Qwen3.5 0.8B 18.79 / 689.50 17.88 / 687.38 13.18 / 1047.08

几组数据的规律很稳定:

  • w4a16 的速度最快、内存最小,是 RK3576 的默认选择。
  • w4a16_g128 比 w4a16 慢大约 5%~8%,内存多大约 5%~15%。用一点速度和内存换精度,属于折中档。个别模型(如 Qwen3.5 0.8B)两者的运行内存几乎持平。
  • w8a8 的生成速度比 w4a16 低大约 30%~43%,运行内存是 w4a16 的 1.5~1.9 倍。精度最好,但代价最大。
  • 首 token 延迟(TTFT)不一定严格按这个顺序,选型时主要看生成速度 tok/s 和运行内存。

给 RK3576 的推荐:

  1. 默认用 w4a16。3.8GB 内存的板子最适合这种格式,0.5B 只占 443.44MB,1.5B 也只有 835MB 左右。
  2. 精度不够再换 w4a16_g128。SDK 自带的 Qwen3.5-0.8B 官方模型用的就是 w4a16_g128,可以直接作为参考。
  3. w8a8 优先用在 0.5B/0.6B 上。0.5B 只占 678.43MB;1.5B/1.8B 的 w8a8 大约 1.5~1.8GB,还能跑,但要给系统留余量;3B 以上不建议,3.8B 的 3767.28MB 已经贴着板子总内存。
  4. 本文第 6 节先用 w8a8 走通全流程,因为它是精度基线,产物大小也有实测值。链路通了以后,把 --quantized_dtype 换成 w4a16 再转一份即可,命令完全一样。

还要区分一点:benchmark 里的 memory 是运行时峰值内存,不是 .rkllm 文件大小。比如 Qwen3.5-0.8B 的运行内存是 687.38MB,但官方 .rkllm 文件在磁盘上是 1.1G,两者不是一回事。

3. 下载模型:hf 命令与一键脚本

执行位置:电脑。

3.1 用 hf download 下载单个模型

先设置镜像和传输开关。HF_HUB_DISABLE_XET=1 用来避开 xet 传输后端,国内镜像环境下更稳。

condaactivate rkllmcd/home/sc/code/RKLLM
exportHF_ENDPOINT=https://hf-mirror.comexportHF_HUB_DISABLE_XET=1
hfdownload Qwen/Qwen2-0.5B-Instruct --local-dir ./models/Qwen2-0.5B-Instruct

--local-dir 会把真实文件直接放到指定目录,不走 cache 软链接,后面 --path 直接指向这个目录就行。

下载完成后检查关键文件:

lsmodels/Qwen2-0.5B-Instructdu-sh models/Qwen2-0.5B-Instruct

预期能看到:

config.jsongeneration_config.jsonmerges.txtmodel.safetensorstokenizer.jsontokenizer_config.jsonvocab.json954M models/Qwen2-0.5B-Instruct

磁盘空间可以按这个量级预估:0.5B 约 1GB,1.5B 约 3GB,3.8B 约 7GB。下载前先 df -h 看一眼。

3.2 用 download_models.sh 批量下载

脚本默认下载到 models/,默认走 hf-mirror,串行下载,失败自动重试 3 次。

cd/home/sc/code/RKLLM
# 只看清单,不下载./download_models.sh --list
# 只下小模型(推荐先跑这个)./download_models.sh --group small
# 只下文本模型./download_models.sh --group text
# 只下多模态/视觉模型./download_models.sh --group vl
# 按仓库 ID 子串过滤./download_models.sh --only Qwen2-0.5B
# 指定输出目录,2 个并发./download_models.sh -d /data/models -j 2

--list 配合 --group small 的预期输出:

输出目录: /home/sc/code/RKLLM/models镜像 : https://hf-mirror.com
分组 仓库 说明----- --------------------------------------------- ----small Qwen/Qwen2-0.5B-Instruct 文本 0.5Bsmall Qwen/Qwen2.5-1.5B-Instruct 文本 1.5Bsmall TinyLlama/TinyLlama-1.1B-Chat-v1.0 文本 1.1B

脚本逐个下载,结束时打印成功和失败列表,中途失败不会中断。

4. 免转换路线:直接用 SDK 自带的模型

执行位置:电脑。

暂时不想自己转换的话,SDK 里已经放好了 RK3576 版的多模态模型,推到板子就能跑:

ls-lh /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/

输出两个文件:

Qwen3.5-0.8B_w4a16_g128_rk3576.rkllmQwen3.5-0.8B_vision_rk3576.rknn

.rkllm 是语言模型,.rknn 是视觉编码器,量化格式 w4a16_g128。推上去:

adbpush /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/Qwen3.5-0.8B_vision_rk3576.rknn /data/demo_Linux_aarch64/adbpush /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm /data/demo_Linux_aarch64/

板端运行命令见第 10 节。文本侧用 Qwen2-0.5B,多模态侧用这套现成文件,两条链路都能走通。

5. 生成量化校准数据

执行位置:电脑。

RKLLM 转换不是简单地把权重截断成 4bit/8bit,它需要一批校准样本,用原始模型跑出参考输出,再据此确定量化参数。SDK 的 generate_data_quant.py 内置了 21 条中英文样本,覆盖选择题、代码、翻译、常识推理等场景。

condaactivate rkllmcd/home/sc/code/RKLLM
pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/generate_data_quant.py --model-dir ./models/Qwen2-0.5B-Instruct --output-file ./models/data_quant.json

执行时脚本会加载 tokenizer 和原始 HuggingFace 模型,逐条生成结果并打印。没有 CUDA 时会自动用 CPU。跑完得到 models/data_quant.json,每条的结构是:

{"input":"<|im_start|>systemnYou are a helpful assistant.<|im_end|>n<|im_start|>usern...<|im_end|>n<|im_start|>assistantn","target":"..."}

检查条数:

python-c"import json; d=json.load(open('models/data_quant.json')); print(len(d), list(d[0]))"

预期输出:

21['input','target']

本次实测就是 21 条。个别样本生成异常时脚本会写入空 target,文件结构和转换流程不受影响。

注意转换时报 [!] 找不到校准数据,或者用的校准文件跟预期不是同一份。改造后的 export_rkllm.py 默认在“模型目录的上一级”找 data_quant.json:模型是 ./models/Qwen2-0.5B-Instruct,它找的就是 ./models/data_quant.json,而 SDK 的 export/ 目录里还躺着一份同名的旧文件(19 条,未套 chat template)。生成时明确写到 ./models/data_quant.json;转换时如果文件在别处,显式加 --dataset /绝对路径/data_quant.json,不要依赖默认查找。

换模型时要重新生成校准数据。脚本会套用目标模型自己的 chat template,Qwen2 的校准文件不能直接拿去转别的模型。

6. 转换模型:一条命令生成 .rkllm

b56c4e6e-e3a4-11f1-944c-92fbcf53809c.png

执行位置:电脑。

SDK 原始的 export_rkllm.py 是硬编码路径、硬编码 RK3588、硬编码 device='cuda' 的脚本,没法直接用在 RK3576 和纯 CPU 机器上。仓库里的这份已经改造成 argparse 版本,支持 --path、--target-platform、--quantized_dtype、--savepath,并且会按平台自动选 NPU 核数。

condaactivate rkllmcd/home/sc/code/RKLLM
pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py --path ./models/Qwen2-0.5B-Instruct --target-platform rk3576 --quantized_dtype w8a8 --savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

四个参数的含义:

  • --path:本地 HuggingFace 模型目录,不是仓库 ID。
  • --target-platform:目标平台,本文是 rk3576,脚本会统一转成大写。
  • --quantized_dtype:w8a8、w4a16、w4a16_g128 三选一,大小写都行。脚本会自动给 w4 系列选 grq 算法,给 w8a8 选 normal 算法。
  • --savepath:输出 .rkllm 路径。不传时默认生成在当前目录,文件名由模型名、量化格式、平台拼出来。

执行后先看到脚本自己的参数确认:

[*] 模型: ./models/Qwen2-0.5B-Instruct[*] 平台: RK3576 (num_npu_core=2)[*] 量化: W8A8 (normal)[*] 校准: /home/sc/code/RKLLM/models/data_quant.json[*] 输出: ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

最后看到:

[]转换完成: ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

转换完成后检查文件:

ls-lh Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

预期:

776M Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

想转 w4a16,只改两个参数:

pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py --path ./models/Qwen2-0.5B-Instruct --target-platform rk3576 --quantized_dtype w4a16 --savepath ./Qwen2-0.5B-Instruct_W4A16_RK3576.rkllm

转换脚本还有几个可选参数:--dataset 指定校准文件,--device cpu 指定加载设备(改造版默认就是 cpu),--npu-core 2 指定 NPU 核数,--max-context 4096 指定最大上下文,--optimization-level 0 用于对齐 benchmark 性能。

提示:benchmark.md 明确要求做性能对比时 optimization_level 设为 0,而改造脚本的默认值是 1。本文这条命令按默认值生成,用于功能验证;如果你要拿自己的速度和 benchmark 表对照,重转时加 --optimization-level 0。

7. 坑一:RK3576 的 num_npu_core 只能是 1 或 2

执行位置:电脑。

这是 RK3576 上最容易踩的转换错误。SDK 原始示例把 num_npu_core 硬编码成 3,那是 RK3588 的值。

注意转换跑到 build 阶段会直接退出,报错原文是 ERROR: num_npu_core of rk3576 platform must be within [1,2]!。原始 export_rkllm.py 里写的是 num_npu_core = 3,那是 RK3588 的值,RK3576 平台只允许 1 或 2,toolkit 校验就过不去。改成 2 就行:改造版脚本已经按平台取上限,RK3576 默认就是 2,也可以在命令行显式写 --npu-core 2。

显式指定 2 个 NPU 核:

pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py --path ./models/Qwen2-0.5B-Instruct --target-platform rk3576 --quantized_dtype w8a8 --npu-core2 --savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

如果你还在用 SDK 原始脚本,就把这两行改掉:

target_platform="RK3576"num_npu_core=2

转换成功的模型,在板端启动日志里会看到 npu_core_num: 2。需要给其他 NPU 任务留核时,可以传 1;除此之外不要传 3。

8. 坑二:纯 CPU 机器必须把 device='cuda' 改成 'cpu'

执行位置:电脑。

SDK 原始文本转换脚本里写死了:

ret= llm.load_huggingface(model=modelpath, model_lora=None, device='cuda', dtype="float32", custom_config=None, load_weight=True)

注意转换在加载模型阶段就失败,报 CUDA 或 GPU 不可用相关错误。脚本默认 device='cuda',而这台电脑的 torch.cuda.is_available() 是 False,没有可用的 NVIDIA GPU。改成 device='cpu' 就行:改造版脚本默认就是 cpu,也可以显式加 --device cpu。

显式指定 CPU:

pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py --path ./models/Qwen2-0.5B-Instruct --target-platform rk3576 --quantized_dtype w8a8 --device cpu --savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

如果用的是原始脚本,直接改这一行:

ret= llm.load_huggingface(model=modelpath, model_lora=None, device='cpu', dtype="float32", custom_config=None, load_weight=True)

CPU 转换只是慢一些,0.5B 完全跑得动。不要为了“快一点”去装 CUDA 版 torch,纯 CPU 环境用 cpu 最稳。

9. 验证转换产物

执行位置:电脑 + 开发板(adb)。

9.1 电脑端先看文件和字节数

cd/home/sc/code/RKLLMls-lh Qwen2-0.5B-Instruct_W8A8_RK3576.rkllmstat-c'%s %n'Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

本次实测:

776M Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm813307388Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm

文件大小对得上,只能说明导出没有中途截断。真正的模型头信息(平台、量化格式、NPU 核数、最大上下文)要在板端加载时看。

9.2 推到板子,用 llm_demo 看模型头

把模型推到上一篇已经准备好的板端目录,然后运行:

adb push Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm /data/demo_Linux_aarch64/
adb shellcd/data/demo_Linux_aarch64exportLD_LIBRARY_PATH=./libchmod777 llm_demoprintf'你好,请用一句话介绍你自己nexitn'|  ./llm_demo Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm 64 2048

llm_demo 的三个参数依次是:模型路径、max_new_tokens=64、max_context_len=2048。

预期启动日志:

Irkllm: rkllm-runtime version:1.3.0, rknpu driver version:0.9.8, platform: RK3576Irkllm: rkllm-toolkit version:1.3.0, max_context_limit:4096, npu_core_num:2, target_platform: RK3576, model_dtype: W8A8Irkllm: Enabled cpus:[4, 5, 6, 7]rkllminit success

这几行就是“rkllm head 信息”,逐项对:

  • platform: RK3576:运行时识别到的平台。
  • target_platform: RK3576:转换时写入的目标平台。
  • model_dtype: W8A8:量化格式,和 --quantized_dtype 一致。
  • npu_core_num: 2:转换时的 num_npu_core,RK3576 合法值只能是 1 或 2。
  • max_context_limit: 4096:转换时的 --max-context 默认值。

本次实测回答:

我是一个人工智能助手,可以回答问题、提供信息和完成任务。

看到 rkllm init success 并且能正常回答,说明“下载 → 校准 → 转换 → 上板”整条链路已经打通。

注意用脚本或管道喂问题,llm_demo 回答完会一直输出,像死循环。因为它在 stdin 遇到 EOF 后不会自己退出,还在循环读输入。输入末尾必须带 exit,用 printf '问题nexitn' | ./llm_demo ...;交互式运行时手动输入 exit。

10. 多模态模型转换有什么不同

执行位置:电脑(视觉部分),开发板(验证)。

纯文本模型只有一个 HuggingFace 目录,转出一个 .rkllm 就结束了。多模态模型要把视觉编码器和语言模型拆成两部分,分别转换:

部分 输入 工具 产物
视觉编码器 + projector HuggingFace VLM export_vision.py 导出 ONNX,export_vision_rknn.py 转 RKNN .rknn,FP16
语言模型 HuggingFace VLM + 图文校准数据 export_rkllm.py .rkllm

与纯文本相比,主要差异有四点:

  1. 产物是两个文件,不是一个。板端要同时加载 .rknn 和 .rkllm。
  2. 视觉部分走 rknn-toolkit2,不是 rkllm-toolkit。RKNN 目前只支持 float32 加载,最终以 FP16 在 NPU 上推理,测试时用满所有 NPU 核。
  3. 校准数据不是纯文本问答,而是图文样本经过视觉编码器得到的 image embeddings。SDK 自带 20 条 MMBench 图文样本。
  4. 板端 demo 的参数更多:要传图片、视觉模型、语言模型、max_new_tokens、max_context、NPU 核数、平台名,以及图片占位 token。

以 Qwen3.5-0.8B 为例,SDK README 和脚本给出的流程是:

cd/home/sc/code/RKLLM/rknn-llm-release-v1.3.0/examples/multimodal_model_demo
# 1) 视觉编码器 -> ONNX(Qwen3.5 使用 448x448)pythonexport/export_vision.py --path /path/to/Qwen3.5-0.8B --model_name qwen3.5--height448--width448
# 2) ONNX -> RKNN(RK3576)pythonexport/export_vision_rknn.py --path ./onnx/qwen3.5_vision.onnx --model_name qwen3.5--target-platform rk3576 --height448--width448
# 3) 生成图文校准数据(image embeds)pythondata/make_input_embeds_for_quantize.py --path /path/to/Qwen3.5-0.8B --model_type qwen3.5
# 当前 SDK 的生成脚本输出 llm_inputs.json,而多模态 export_rkllm.py 读 inputs.jsoncpdata/llm_inputs.json data/inputs.json
# 4) 语言模型 -> RKLLM(注意 RK3576 只能 2 核,CPU 机器要指定 cpu)pythonexport/export_rkllm.py --path /path/to/Qwen3.5-0.8B --target-platform rk3576 --num_npu_core2 --quantized_dtype w4a16_g128 --device cpu

以上命令是按 SDK 1.3.0 的脚本和 README 整理的,本文没有在 RK3576 上实机跑完整的多模态转换;实机验证的是官方预转换文件。多模态转换还依赖 rknn-toolkit2>=2.3.2,本机的 rkllm 环境里没有安装。不同模型的版本要求也不一样,比如 Qwen3-VL 的 README 指定 transformers==4.57.0,而本机文本环境是 5.8.0,建议单独建一个多模态转换环境。

Qwen2-VL 用的是另一个脚本 export_vision_qwen2.py,输入分辨率 392x392;Qwen3-VL、MiniCPM-V、SmolVLM、DeepSeekOCR 等则用 export_vision.py,具体 --model_name 看脚本的 choices。

多模态 export 脚本还有三个和文本版不一样的地方:

  • num_npu_core 默认还是 3,RK3576 上必须显式传 --num_npu_core 2,否则会触发第 7 节的报错。
  • --savepath 参数实际不生效,输出路径在脚本内部固定成 ./rkllm/ <模型名> _ <量化格式> _ <平台> .rkllm。转换完去 ./rkllm/ 下找文件,不要以为参数没传对。
  • quantized_algorithm 在脚本里写死为 normal,不会像文本版那样对 w4 系列自动切 grq。要严格复现官方 w4a16_g128 的效果,需要改脚本或直接参考官方预转换文件。

板端验证官方 Qwen3.5-0.8B

如果第 4 节你已经把官方文件推到 /data/demo_Linux_aarch64,可以直接在板端跑:

cd/data/demo_Linux_aarch64exportLD_LIBRARY_PATH=./libchmod777demo
printf'1nexitn' | ./demo demo.jpg ./Qwen3.5-0.8B_vision_rk3576.rknn ./Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm12840962rk3576 '<|vision_start|>' '<|vision_end|>' '<|image_pad|>'

Qwen3.5 的图片占位 token 与 Qwen3-VL 相同,都是 <|vision_start|>、<|vision_end|>、<|image_pad|>。

本次实测:LLM 加载 4642.39ms,视觉编码器加载 1015.32ms,视觉编码器推理 863.88ms(benchmark 为 815ms),模型正确描述了图片内容。板端 max_context_len 必须大于“文本 token 数 + 图片 token 数 + max_new_tokens”,所以这里给了 4096。

11. 小结与下一篇

执行位置:电脑(复盘)。

这篇的完整闭环是:

  • [x] 选 Qwen2-0.5B 作为文本第一条链路。
  • [x] 用 hf download 或 download_models.sh 把模型下到 models/。
  • [x] 用 generate_data_quant.py 生成 models/data_quant.json,实测 21 条。
  • [x] 用改造版 export_rkllm.py 转出 Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm,776M / 813307388 字节。
  • [x] 在板端 llm_demo 看到 target_platform: RK3576、npu_core_num: 2、model_dtype: W8A8,并能正常回答。
  • [x] 文本用 Qwen2-0.5B,多模态用 SDK 自带的 Qwen3.5-0.8B 官方预转换文件。

三个最容易复现的坑:RK3576 的 num_npu_core 只能 1 或 2;纯 CPU 机器必须 device='cpu';校准数据要明确指定路径,别让脚本找到 SDK 里的旧文件。

返回列表

上一篇:硅光可靠性标准JESD264全景解读

没有最新的文章了...