RKLLM模型下载、量化与格式转换
上一篇把 RK3576 的 NPU 驱动、RKLLM 运行时和电脑端的 rkllm 环境都准备好了。这一篇只做两件事:把 HuggingFace 上的原始模型拿下来,再把它变成板子能吃的 .rkllm。全程在电脑上完成,最后只把成品推到板子上验一眼。跟着做大约 30~60 分钟,主要时间花在下载和量化转换上。
实机环境:本系列全部步骤均在触觉智能(Industio)RK3576 开发板 EVB7609 V1上,配合触觉智能官方 RK3576 Linux 镜像实机调试验证。板端系统为 Debian 12(bookworm),内核 6.1.99,RKNPU 驱动 v0.9.8,Python 3.11.2。使用其他厂商的 RK3576 板卡或自行编译的镜像时,设备节点、网卡名称、频率节点路径可能不同,请以实际环境为准。
| 项目 | 内容 |
|---|---|
| 本篇目标 | 会选模型、会选量化格式、会下载、会生成校准数据、会转换、会验证产物 |
| 执行位置 | 电脑(Ubuntu 26.04,x86_64,conda 环境 rkllm);最后一步用到开发板 |
| 最终产物 | models/Qwen2-0.5B-Instruct/、models/data_quant.json、Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm |
| 适用平台 | RK3576(本文命令以 RK3576 为准;换到 RK3588 时,平台名和 NPU 核数要按平台重新确认) |
本文的基准性能数字来自 SDK 的 benchmark.md(RK3576 平台,seqlen 128、new_tokens 64);本机转换产物和开发板实测的数字会单独标注。
0. 开始前:确认环境和执行位置
执行位置:电脑。
先确认当前终端真的在 rkllm 环境里。后面所有转换命令都依赖这个环境里的 rkllm-toolkit,不要用系统 Python。
conda activate rkllmcd/home/sc/code/RKLLMwhichhfhf versionpython -Vpython -c"import torch; print(torch.__version__, torch.cuda.is_available())"pip show rkllm-toolkit |head-2
预期输出(版本号必须对得上):
/home/sc/miniconda3/envs/rkllm/bin/hfversion=1.33.0Python 3.10.202.6.0+cpu FalseName: rkllm-toolkitVersion: 1.3.0
torch.cuda.is_available() 是 False,说明这是一台纯 CPU 机器。本篇的 0.5B 模型在 CPU 上转换没有问题,后面第 8 节会专门讲这个前提带来的坑。
如果 which hf 找不到,先 conda activate rkllm;再不行就回到上一篇检查 huggingface-hub 的安装。
1. 模型选型:RK3576 能跑哪些模型
执行位置:电脑(只做选择,不执行命令)。
RK3576 在 1.3.0 版本支持以下模型。
文本模型:
Qwen2 0.5B、MiniCPM4 0.5B、Qwen3 0.6B、TinyLLAMA 1.1B、RWKV7 1.5B、InternLM2 1.8B、Gemma2 2B、Gemma-3n 2B、TeleChat2 3B、Phi3 3.8B、MiniCPM3 4B、ChatGLM3 6B、Qwen3.5 0.8B/2B/4B、Gemma4 E2B。
多模态模型:
Qwen2-VL-2B、Qwen2.5-VL-3B、MiniCPM-V-2_6、SmolVLM-256M、Qwen3-VL-2B、DeepSeekOCR-3B、Qwen3.5-0.8B。
模型很多,不要一次全下。第一次部署先验证同类型里的一个,把下载、校准、转换、上板这条链路跑通,再换更大的模型。推荐的验证顺序:
| 阶段 | 建议模型 | 参数量 | RK3576 benchmark 参考 | 说明 |
|---|---|---|---|---|
| 文本第一条 | Qwen2-0.5B-Instruct | 0.5B | w8a8:21.73 tok/s,678.43MB | 本文全程用它 |
| 文本 1.5B | Qwen2.5-1.5B-Instruct | 1.5B | RK3576 表未列该模型;同量级 RWKV7 w4a16:10.18 tok/s,835.34MB | 已下载,性能以自己实测为准 |
| 文本 3.8B | Phi-3-mini-4K-Instruct | 3.8B | w4a16:6.58 tok/s,1995.78MB | 已下载,运行内存约为 0.5B 的 4.5 倍 |
| 多模态第一条 | Qwen3.5-0.8B(官方预转换) | 0.8B | w4a16_g128:17.88 tok/s,687.38MB;vision 编码 815ms | 不用下载、不用转换,直接上板 |
| 多模态自己转 | Qwen3-VL-2B-Instruct | 2B | w4a16:12.68 tok/s,1058.56MB;vision 编码 1.61s | 用来练多模态转换 |
具体怎么选:
- 文本先跑 Qwen2-0.5B。0.5B 下载和转换都快,适合先把整条链路走通。
- 0.5B 跑通后,再上 1.5B(Qwen2.5-1.5B)和 3.8B(Phi-3-mini-4K)。注意 3.8B 的 w8a8 运行内存要 3767.28MB,已经接近板子 3.8GB 的总内存,实际部署基本只能选 w4a16。
- 多模态先拿 SDK 自带的 Qwen3.5-0.8B 预转换文件验证板端,能跑通之后再考虑自己转 Qwen3-VL-2B。
- 不要一上来就选 4B、6B。模型越大,转换越慢,出问题的环节也越多,不利于排查。
2. 量化格式:w4a16、w4a16_g128、w8a8 怎么选
执行位置:电脑(只做选择,不执行命令)。
RK3576 支持三种量化格式:
- w4a16:权重 4bit,激活 16bit。文件最小、生成速度最快。
- w4a16_g128:在 w4a16 基础上按 128 一组做分组量化,通常能换回一些精度。
- w8a8:权重和激活都是 8bit。数值精度最高,但内存和带宽开销最大。
下面是 benchmark.md 里 RK3576 的原始数据,单元格格式为“生成速度 tok/s / 运行内存 MB”:
| 模型 | w4a16 | w4a16_g128 | w8a8 |
|---|---|---|---|
| Qwen2 0.5B | 32.56 / 443.44 | 30.33 / 463.23 | 21.73 / 678.43 |
| MiniCPM4 0.5B | 34.57 / 334.68 | 32.66 / 374.36 | 23.28 / 541.17 |
| TinyLLAMA 1.1B | 19.71 / 601.09 | 18.08 / 690.76 | 12.18 / 1092.87 |
| Phi3 3.8B | 6.58 / 1995.78 | 6.06 / 2151.47 | 3.74 / 3767.28 |
| Qwen3.5 0.8B | 18.79 / 689.50 | 17.88 / 687.38 | 13.18 / 1047.08 |
几组数据的规律很稳定:
- w4a16 的速度最快、内存最小,是 RK3576 的默认选择。
- w4a16_g128 比 w4a16 慢大约 5%~8%,内存多大约 5%~15%。用一点速度和内存换精度,属于折中档。个别模型(如 Qwen3.5 0.8B)两者的运行内存几乎持平。
- w8a8 的生成速度比 w4a16 低大约 30%~43%,运行内存是 w4a16 的 1.5~1.9 倍。精度最好,但代价最大。
- 首 token 延迟(TTFT)不一定严格按这个顺序,选型时主要看生成速度 tok/s 和运行内存。
给 RK3576 的推荐:
- 默认用 w4a16。3.8GB 内存的板子最适合这种格式,0.5B 只占 443.44MB,1.5B 也只有 835MB 左右。
- 精度不够再换 w4a16_g128。SDK 自带的 Qwen3.5-0.8B 官方模型用的就是 w4a16_g128,可以直接作为参考。
- w8a8 优先用在 0.5B/0.6B 上。0.5B 只占 678.43MB;1.5B/1.8B 的 w8a8 大约 1.5~1.8GB,还能跑,但要给系统留余量;3B 以上不建议,3.8B 的 3767.28MB 已经贴着板子总内存。
- 本文第 6 节先用 w8a8 走通全流程,因为它是精度基线,产物大小也有实测值。链路通了以后,把 --quantized_dtype 换成 w4a16 再转一份即可,命令完全一样。
还要区分一点:benchmark 里的 memory 是运行时峰值内存,不是 .rkllm 文件大小。比如 Qwen3.5-0.8B 的运行内存是 687.38MB,但官方 .rkllm 文件在磁盘上是 1.1G,两者不是一回事。
3. 下载模型:hf 命令与一键脚本
执行位置:电脑。
3.1 用 hf download 下载单个模型
先设置镜像和传输开关。HF_HUB_DISABLE_XET=1 用来避开 xet 传输后端,国内镜像环境下更稳。
condaactivate rkllmcd/home/sc/code/RKLLMexportHF_ENDPOINT=https://hf-mirror.comexportHF_HUB_DISABLE_XET=1hfdownload Qwen/Qwen2-0.5B-Instruct--local-dir ./models/Qwen2-0.5B-Instruct
--local-dir 会把真实文件直接放到指定目录,不走 cache 软链接,后面 --path 直接指向这个目录就行。
下载完成后检查关键文件:
lsmodels/Qwen2-0.5B-Instructdu-sh models/Qwen2-0.5B-Instruct
预期能看到:
config.jsongeneration_config.jsonmerges.txtmodel.safetensorstokenizer.jsontokenizer_config.jsonvocab.json954M models/Qwen2-0.5B-Instruct
磁盘空间可以按这个量级预估:0.5B 约 1GB,1.5B 约 3GB,3.8B 约 7GB。下载前先 df -h 看一眼。
3.2 用 download_models.sh 批量下载
脚本默认下载到 models/,默认走 hf-mirror,串行下载,失败自动重试 3 次。
cd/home/sc/code/RKLLM# 只看清单,不下载./download_models.sh --list# 只下小模型(推荐先跑这个)./download_models.sh --group small# 只下文本模型./download_models.sh --group text# 只下多模态/视觉模型./download_models.sh --group vl# 按仓库 ID 子串过滤./download_models.sh --only Qwen2-0.5B# 指定输出目录,2 个并发./download_models.sh -d /data/models -j 2
--list 配合 --group small 的预期输出:
输出目录: /home/sc/code/RKLLM/models镜像 : https://hf-mirror.com分组 仓库 说明----- --------------------------------------------- ----small Qwen/Qwen2-0.5B-Instruct 文本 0.5Bsmall Qwen/Qwen2.5-1.5B-Instruct 文本 1.5Bsmall TinyLlama/TinyLlama-1.1B-Chat-v1.0 文本 1.1B
脚本逐个下载,结束时打印成功和失败列表,中途失败不会中断。
4. 免转换路线:直接用 SDK 自带的模型
执行位置:电脑。
暂时不想自己转换的话,SDK 里已经放好了 RK3576 版的多模态模型,推到板子就能跑:
ls-lh /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/
输出两个文件:
Qwen3.5-0.8B_w4a16_g128_rk3576.rkllmQwen3.5-0.8B_vision_rk3576.rknn
.rkllm 是语言模型,.rknn 是视觉编码器,量化格式 w4a16_g128。推上去:
adbpush /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/Qwen3.5-0.8B_vision_rk3576.rknn /data/demo_Linux_aarch64/adbpush /home/sc/code/RKLLM/1.3.0/RK3576/Qwen3.5-0.8B/Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm /data/demo_Linux_aarch64/
板端运行命令见第 10 节。文本侧用 Qwen2-0.5B,多模态侧用这套现成文件,两条链路都能走通。
5. 生成量化校准数据
执行位置:电脑。
RKLLM 转换不是简单地把权重截断成 4bit/8bit,它需要一批校准样本,用原始模型跑出参考输出,再据此确定量化参数。SDK 的 generate_data_quant.py 内置了 21 条中英文样本,覆盖选择题、代码、翻译、常识推理等场景。
condaactivate rkllmcd/home/sc/code/RKLLMpythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/generate_data_quant.py--model-dir ./models/Qwen2-0.5B-Instruct--output-file ./models/data_quant.json
执行时脚本会加载 tokenizer 和原始 HuggingFace 模型,逐条生成结果并打印。没有 CUDA 时会自动用 CPU。跑完得到 models/data_quant.json,每条的结构是:
{"input":"<|im_start|>systemnYou are a helpful assistant.<|im_end|>n<|im_start|>usern...<|im_end|>n<|im_start|>assistantn","target":"..."}
检查条数:
python-c"import json; d=json.load(open('models/data_quant.json')); print(len(d), list(d[0]))"
预期输出:
21['input','target']
本次实测就是 21 条。个别样本生成异常时脚本会写入空 target,文件结构和转换流程不受影响。
注意转换时报 [!] 找不到校准数据,或者用的校准文件跟预期不是同一份。改造后的 export_rkllm.py 默认在“模型目录的上一级”找 data_quant.json:模型是 ./models/Qwen2-0.5B-Instruct,它找的就是 ./models/data_quant.json,而 SDK 的 export/ 目录里还躺着一份同名的旧文件(19 条,未套 chat template)。生成时明确写到 ./models/data_quant.json;转换时如果文件在别处,显式加 --dataset /绝对路径/data_quant.json,不要依赖默认查找。
换模型时要重新生成校准数据。脚本会套用目标模型自己的 chat template,Qwen2 的校准文件不能直接拿去转别的模型。
6. 转换模型:一条命令生成 .rkllm
执行位置:电脑。
SDK 原始的 export_rkllm.py 是硬编码路径、硬编码 RK3588、硬编码 device='cuda' 的脚本,没法直接用在 RK3576 和纯 CPU 机器上。仓库里的这份已经改造成 argparse 版本,支持 --path、--target-platform、--quantized_dtype、--savepath,并且会按平台自动选 NPU 核数。
condaactivate rkllmcd/home/sc/code/RKLLMpythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py--path ./models/Qwen2-0.5B-Instruct--target-platform rk3576--quantized_dtype w8a8--savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
四个参数的含义:
- --path:本地 HuggingFace 模型目录,不是仓库 ID。
- --target-platform:目标平台,本文是 rk3576,脚本会统一转成大写。
- --quantized_dtype:w8a8、w4a16、w4a16_g128 三选一,大小写都行。脚本会自动给 w4 系列选 grq 算法,给 w8a8 选 normal 算法。
- --savepath:输出 .rkllm 路径。不传时默认生成在当前目录,文件名由模型名、量化格式、平台拼出来。
执行后先看到脚本自己的参数确认:
[*] 模型: ./models/Qwen2-0.5B-Instruct[*] 平台: RK3576 (num_npu_core=2)[*] 量化: W8A8 (normal)[*] 校准: /home/sc/code/RKLLM/models/data_quant.json[*] 输出: ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
最后看到:
[]转换完成: ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
转换完成后检查文件:
ls-lh Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
预期:
776M Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
想转 w4a16,只改两个参数:
pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py--path ./models/Qwen2-0.5B-Instruct--target-platform rk3576--quantized_dtype w4a16--savepath ./Qwen2-0.5B-Instruct_W4A16_RK3576.rkllm
转换脚本还有几个可选参数:--dataset 指定校准文件,--device cpu 指定加载设备(改造版默认就是 cpu),--npu-core 2 指定 NPU 核数,--max-context 4096 指定最大上下文,--optimization-level 0 用于对齐 benchmark 性能。
提示:benchmark.md 明确要求做性能对比时 optimization_level 设为 0,而改造脚本的默认值是 1。本文这条命令按默认值生成,用于功能验证;如果你要拿自己的速度和 benchmark 表对照,重转时加 --optimization-level 0。
7. 坑一:RK3576 的 num_npu_core 只能是 1 或 2
执行位置:电脑。
这是 RK3576 上最容易踩的转换错误。SDK 原始示例把 num_npu_core 硬编码成 3,那是 RK3588 的值。
注意转换跑到 build 阶段会直接退出,报错原文是 ERROR: num_npu_core of rk3576 platform must be within [1,2]!。原始 export_rkllm.py 里写的是 num_npu_core = 3,那是 RK3588 的值,RK3576 平台只允许 1 或 2,toolkit 校验就过不去。改成 2 就行:改造版脚本已经按平台取上限,RK3576 默认就是 2,也可以在命令行显式写 --npu-core 2。
显式指定 2 个 NPU 核:
pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py--path ./models/Qwen2-0.5B-Instruct--target-platform rk3576--quantized_dtype w8a8--npu-core2--savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
如果你还在用 SDK 原始脚本,就把这两行改掉:
target_platform="RK3576"num_npu_core=2
转换成功的模型,在板端启动日志里会看到 npu_core_num: 2。需要给其他 NPU 任务留核时,可以传 1;除此之外不要传 3。
8. 坑二:纯 CPU 机器必须把 device='cuda' 改成 'cpu'
执行位置:电脑。
SDK 原始文本转换脚本里写死了:
ret= llm.load_huggingface(model=modelpath, model_lora=None, device='cuda',dtype="float32", custom_config=None, load_weight=True)
注意转换在加载模型阶段就失败,报 CUDA 或 GPU 不可用相关错误。脚本默认 device='cuda',而这台电脑的 torch.cuda.is_available() 是 False,没有可用的 NVIDIA GPU。改成 device='cpu' 就行:改造版脚本默认就是 cpu,也可以显式加 --device cpu。
显式指定 CPU:
pythonrknn-llm-release-v1.3.0/examples/rkllm_api_demo/export/export_rkllm.py--path ./models/Qwen2-0.5B-Instruct--target-platform rk3576--quantized_dtype w8a8--device cpu--savepath ./Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
如果用的是原始脚本,直接改这一行:
ret= llm.load_huggingface(model=modelpath, model_lora=None, device='cpu',dtype="float32", custom_config=None, load_weight=True)
CPU 转换只是慢一些,0.5B 完全跑得动。不要为了“快一点”去装 CUDA 版 torch,纯 CPU 环境用 cpu 最稳。
9. 验证转换产物
执行位置:电脑 + 开发板(adb)。
9.1 电脑端先看文件和字节数
cd/home/sc/code/RKLLMls-lh Qwen2-0.5B-Instruct_W8A8_RK3576.rkllmstat-c'%s %n'Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
本次实测:
776M Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm813307388Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm
文件大小对得上,只能说明导出没有中途截断。真正的模型头信息(平台、量化格式、NPU 核数、最大上下文)要在板端加载时看。
9.2 推到板子,用 llm_demo 看模型头
把模型推到上一篇已经准备好的板端目录,然后运行:
adb push Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm /data/demo_Linux_aarch64/adb shellcd/data/demo_Linux_aarch64exportLD_LIBRARY_PATH=./libchmod777 llm_demoprintf'你好,请用一句话介绍你自己nexitn'|./llm_demo Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm 64 2048
llm_demo 的三个参数依次是:模型路径、max_new_tokens=64、max_context_len=2048。
预期启动日志:
Irkllm: rkllm-runtime version:1.3.0, rknpu driver version:0.9.8, platform: RK3576Irkllm: rkllm-toolkit version:1.3.0, max_context_limit:4096, npu_core_num:2, target_platform: RK3576, model_dtype: W8A8Irkllm: Enabled cpus:rkllminit success
这几行就是“rkllm head 信息”,逐项对:
- platform: RK3576:运行时识别到的平台。
- target_platform: RK3576:转换时写入的目标平台。
- model_dtype: W8A8:量化格式,和 --quantized_dtype 一致。
- npu_core_num: 2:转换时的 num_npu_core,RK3576 合法值只能是 1 或 2。
- max_context_limit: 4096:转换时的 --max-context 默认值。
本次实测回答:
我是一个人工智能助手,可以回答问题、提供信息和完成任务。
看到 rkllm init success 并且能正常回答,说明“下载 → 校准 → 转换 → 上板”整条链路已经打通。
注意用脚本或管道喂问题,llm_demo 回答完会一直输出,像死循环。因为它在 stdin 遇到 EOF 后不会自己退出,还在循环读输入。输入末尾必须带 exit,用 printf '问题nexitn' | ./llm_demo ...;交互式运行时手动输入 exit。
10. 多模态模型转换有什么不同
执行位置:电脑(视觉部分),开发板(验证)。
纯文本模型只有一个 HuggingFace 目录,转出一个 .rkllm 就结束了。多模态模型要把视觉编码器和语言模型拆成两部分,分别转换:
| 部分 | 输入 | 工具 | 产物 |
|---|---|---|---|
| 视觉编码器 + projector | HuggingFace VLM | export_vision.py 导出 ONNX,export_vision_rknn.py 转 RKNN | .rknn,FP16 |
| 语言模型 | HuggingFace VLM + 图文校准数据 | export_rkllm.py | .rkllm |
与纯文本相比,主要差异有四点:
- 产物是两个文件,不是一个。板端要同时加载 .rknn 和 .rkllm。
- 视觉部分走 rknn-toolkit2,不是 rkllm-toolkit。RKNN 目前只支持 float32 加载,最终以 FP16 在 NPU 上推理,测试时用满所有 NPU 核。
- 校准数据不是纯文本问答,而是图文样本经过视觉编码器得到的 image embeddings。SDK 自带 20 条 MMBench 图文样本。
- 板端 demo 的参数更多:要传图片、视觉模型、语言模型、max_new_tokens、max_context、NPU 核数、平台名,以及图片占位 token。
以 Qwen3.5-0.8B 为例,SDK README 和脚本给出的流程是:
cd/home/sc/code/RKLLM/rknn-llm-release-v1.3.0/examples/multimodal_model_demo# 1) 视觉编码器 -> ONNX(Qwen3.5 使用 448x448)pythonexport/export_vision.py--path /path/to/Qwen3.5-0.8B--model_name qwen3.5--height448--width448# 2) ONNX -> RKNN(RK3576)pythonexport/export_vision_rknn.py--path ./onnx/qwen3.5_vision.onnx--model_name qwen3.5--target-platform rk3576--height448--width448# 3) 生成图文校准数据(image embeds)pythondata/make_input_embeds_for_quantize.py--path /path/to/Qwen3.5-0.8B --model_type qwen3.5# 当前 SDK 的生成脚本输出 llm_inputs.json,而多模态 export_rkllm.py 读 inputs.jsoncpdata/llm_inputs.json data/inputs.json# 4) 语言模型 -> RKLLM(注意 RK3576 只能 2 核,CPU 机器要指定 cpu)pythonexport/export_rkllm.py--path /path/to/Qwen3.5-0.8B--target-platform rk3576 --num_npu_core2--quantized_dtype w4a16_g128 --device cpu
以上命令是按 SDK 1.3.0 的脚本和 README 整理的,本文没有在 RK3576 上实机跑完整的多模态转换;实机验证的是官方预转换文件。多模态转换还依赖 rknn-toolkit2>=2.3.2,本机的 rkllm 环境里没有安装。不同模型的版本要求也不一样,比如 Qwen3-VL 的 README 指定 transformers==4.57.0,而本机文本环境是 5.8.0,建议单独建一个多模态转换环境。
Qwen2-VL 用的是另一个脚本 export_vision_qwen2.py,输入分辨率 392x392;Qwen3-VL、MiniCPM-V、SmolVLM、DeepSeekOCR 等则用 export_vision.py,具体 --model_name 看脚本的 choices。
多模态 export 脚本还有三个和文本版不一样的地方:
- num_npu_core 默认还是 3,RK3576 上必须显式传 --num_npu_core 2,否则会触发第 7 节的报错。
- --savepath 参数实际不生效,输出路径在脚本内部固定成 ./rkllm/ <模型名> _ <量化格式> _ <平台> .rkllm。转换完去 ./rkllm/ 下找文件,不要以为参数没传对。 平台> 量化格式> 模型名>
- quantized_algorithm 在脚本里写死为 normal,不会像文本版那样对 w4 系列自动切 grq。要严格复现官方 w4a16_g128 的效果,需要改脚本或直接参考官方预转换文件。
板端验证官方 Qwen3.5-0.8B
如果第 4 节你已经把官方文件推到 /data/demo_Linux_aarch64,可以直接在板端跑:
cd/data/demo_Linux_aarch64exportLD_LIBRARY_PATH=./libchmod777demoprintf'1nexitn' | ./demo demo.jpg./Qwen3.5-0.8B_vision_rk3576.rknn./Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm12840962rk3576'<|vision_start|>' '<|vision_end|>' '<|image_pad|>'
Qwen3.5 的图片占位 token 与 Qwen3-VL 相同,都是 <|vision_start|>、<|vision_end|>、<|image_pad|>。
本次实测:LLM 加载 4642.39ms,视觉编码器加载 1015.32ms,视觉编码器推理 863.88ms(benchmark 为 815ms),模型正确描述了图片内容。板端 max_context_len 必须大于“文本 token 数 + 图片 token 数 + max_new_tokens”,所以这里给了 4096。
11. 小结与下一篇
执行位置:电脑(复盘)。
这篇的完整闭环是:
- [x] 选 Qwen2-0.5B 作为文本第一条链路。
- [x] 用 hf download 或 download_models.sh 把模型下到 models/。
- [x] 用 generate_data_quant.py 生成 models/data_quant.json,实测 21 条。
- [x] 用改造版 export_rkllm.py 转出 Qwen2-0.5B-Instruct_W8A8_RK3576.rkllm,776M / 813307388 字节。
- [x] 在板端 llm_demo 看到 target_platform: RK3576、npu_core_num: 2、model_dtype: W8A8,并能正常回答。
- [x] 文本用 Qwen2-0.5B,多模态用 SDK 自带的 Qwen3.5-0.8B 官方预转换文件。
三个最容易复现的坑:RK3576 的 num_npu_core 只能 1 或 2;纯 CPU 机器必须 device='cpu';校准数据要明确指定路径,别让脚本找到 SDK 里的旧文件。
