嘉楠-基于RT-Smart在K230离线部署Qwen3.pptx

1、基于RT-Smart在K230离线部署Qwen3,Transforming Tomorrow:Smarter Efficiency,Better Lives.,提升社会运行效率 改善人类生活方式,张扬2025-06,目录,K230模型编译上板推理,K230,1.CPU-cpu0:800MHZ-cpu1:1.6GHZ,VLEN=128,rvv 1.02.KPU-支持uint8/int8/int16量化,https:/,K230 SDK,K230 开发板,-01Studio CanMV K230 AI开发板,https:/wiki.01studio.cc/docs/canmv_k230/intro

2、/canmv_k230/,K230 RT-Smart镜像,1.环境搭建 docker环境:ubuntu 20.04,依赖软件参考K230 RTOS如何编译固件,2.下载仓库#repo init-u:canmv-k230/manifest.git-m rtsmart.xml-repo-url=:canmv-k230/git-repo.git#repo sync-j$(nproc),3.下载工具链#make dl_toolchain,4.编译镜像#make k230_rtos_01studio_defconfig#make menuconfig#time make log,调整用户态和mmz配置(

3、各分配1GB内存),模型编译,Qwennncase模型转换,Qwen,-Qwen2.5于2024年9月发布-基于K230 Linux跑通并优化Qwen2.5-0.5B-Instruct,https:/qianwen-res.oss-cn-,Qwen,-Qwen3.0于2025年4月底发布-基于K230 Linux/K230 RT-Smart 跑通Qwen3.0-0.6B,https:/www.eet-,nncase,-嘉楠科技主推的神经网络编译工具链-支持K210/K510/K230等多款产品,https:/,nncase,模型转换,1.huggingface下载qwen3-0.6B$git

4、clone https:/huggingface.co/Qwen/Qwen3-0.6B,模型转换,2.hugginface转换为onnxfork开源llm-export工程，修改并支持qwen3.0大模型导出$git clone https:/cd llm-export$pip install.$llmexport-path/mnt/huggingface/model/qwen3.0/Qwen3-0.6B/-export onnx-dst_path/mnt/huggingface/model/qwen3.0/Qwen3-0.6B/,模型转换,3.onnx转换为kmodel-量化配置ptq_op

5、tions.quant_type=int16ptq_options.w_quant_type=uint8-shape_bucket配置shape_bucket_options.enable=trueshape_bucket_options.segments_count=8shape_bucket_options.range_info=seq_len:1,512,history_len:1,512-编译kmodel,上板推理,1.onnx-llm-fork开源onnx-llm工程，适配支持nncase linux/rtos/simulator runtime-修改/编译可执行程序$git clo

6、ne https:/cd onnx-llm/$git checkout qwen3.0$mkdir-p toolchain$wget-c-P toolchain/https:/riscv64-unknown-linux-musl-rv64imafdcv-lp64d-20230420.tar.bz2$tar-xjf toolchain/riscv64-unknown-linux-musl-rv64imafdcv-lp64d-20230420.tar.bz2-C toolchai