端侧部署 Qwen3 系列
介绍
Qwen3 是 Qwen 系列最新一代的大语言模型，提供了完整的稠密模型和专家混合（MoE）模型套件。基于大规模训练，Qwen3 在推理、指令跟随、智能体能力以及多语言支持方面实现了突破性进展
本章节将演示如何在边缘设备上完成 Qwen3 系列模型部署、加载与对话流程。提供以下两种方式部署：
- AidGen C++ API
- AidGenSE OpenAI API
在本案例中，大语言模型推理运行在设备端，通过代码调用相关接口接收用户输入并实时返回对话结果。
- 设备：IQ9075
- 系统：Ubuntu 24.04
- 模型：Qwen3-1.7B
支持平台
| 平台 | 运行方式 |
|---|---|
| IQ9075 | Ubuntu 24.04 |
准备工作
IQ9075 硬件
Ubuntu 24.04 系统
系统依赖配置
配置 AidLux 依赖源
bash
# 下载正确的公钥
sudo wget -O- https://archive.aidlux.com/ubuntu24/public.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/private-aidlux.gpg > /dev/null
# 编辑源文件
sudo vim /etc/apt/sources.list.d/private-aidlux.list
#在源文件中填入AidLux 提供的私钥
deb [arch=arm64 signed-by=/etc/apt/trusted.gpg.d/private-aidlux.gpg] https://archive.aidlux.com/ubuntu24 noble main
# 更新缓存
sudo apt update更新完成后，可以通过如下命令获取到AidLux 官方的SDK 依赖
bash
sudo apt list | grep aid | grep unknownbash
# 安装软件
# 必须先安装的，系统不自带
sudo apt install python3 python3-pip libopencv-dev python3-opencv net-tools
# 安装 aidlite 之前必须安装的
sudo apt install aidlux-aistack-base aidrtcm
# 安装 aidlite 及依赖
sudo apt install aid-lms aidlms-sdk aidlite-sdk cmake
sudo apt-get install libfmt-dev nlohmann-json3-dev
sudo apt install aidlite-*
# 支持DSP
sudo apt-get install qcom-fastrpc1
sudo apt-get install qcom-fastrpc-dev
# 安装 aidgen-sdk
sudo apt install aidgen-sdk
# 安装 mms 服务
sudo apt install aid-mms
# 支持 GPU
sudo add-apt-repository ppa:ubuntu-qcom-iot/qcom-noble-ppa
sudo apt install qcom-adreno-cl1
sudo ln -s /usr/lib/aarch64-linux-gnu/libOpenCL.so.1 /usr/lib/aarch64-linux-gnu/libOpenCL.so安装完成后检查系统 /usr/local/share 新增 aidlite 和 aidgen 目录
设备授权
获取设备 SN 码
bash
cat /sys/devices/soc0/serial_number获取授权文件
提供SN号给阿加犀技术人员，生成设备指定 License 文件，放入路径 /etc/opt/aidlux/license/AidLuxLics 下
AidGen 案例部署
步骤一：AidGen SDK 代码例子拷贝
bash
# 拷贝测试代码
cd /home/ubuntu
cp -r /usr/local/share/aidgen/examples/cpp/aidllm .步骤二：下载模型资源
由于 Qwen3-1.7B 目前位于 Model Farm 预览板块中，需要通过
mms命令获取
使用 mms 需要 Model Farm 账号登录，请访问 Model Farm 账号注册
bash
# 登录
mms login
# 查找模型
mms list qwen3
# 下载模型
mms get -m Qwen3-1.7B -p w4a16 -c qcs8550 -b qnn2.36 -d /home/ubuntu/aidllm/qwen3-1.7b
cd /home/ubuntu/aidllm/qwen3-1.7b
unzip qnn236_qcs8550_cl2048.zip
mv qnn236_qcs8550_cl2048/* /home/ubuntu/aidllm/步骤三：配置文件创建
bash
cd /home/ubuntu/aidllm
vim qwen3-1.7b-aidgen-config.json创建如下 json 配置文件
json
{
"backend_type": "genie",
"prefix_path": "kv-cache.primary.qnn-htp",
"model": {
"path": [
"qwen3-1.7b_qnn236_qcs8550_cl2048_1_of_3.serialized.bin.aidem",
"qwen3-1.7b_qnn236_qcs8550_cl2048_2_of_3.serialized.bin.aidem",
"qwen3-1.7b_qnn236_qcs8550_cl2048_3_of_3.serialized.bin.aidem"
]
}
}步骤四：资源文件确认
文件分布如下：
bash
/home/ubuntu/aidllm
├── CMakeLists.txt
├── test_prompt_abort.cpp
├── test_prompt_serial.cpp
├── aidgen_chat_template.txt
├── chat.txt
├── htp_backend_ext_config.json
├── qwen3-1.7b-htp.json
├── qwen3-1.7b-aidgen-config.json
├── kv-cache.primary.qnn-htp
├── qwen3-1.7b-tokenizer.json
├── qwen3-1.7b_qnn236_qcs8550_cl2048_1_of_3.serialized.bin.aidem
├── qwen3-1.7b_qnn236_qcs8550_cl2048_2_of_3.serialized.bin.aidem
├── qwen3-1.7b_qnn236_qcs8550_cl2048_3_of_3.serialized.bin.aidem步骤五：对话模板设置
💡注意
对话模板请参考模型资源包中的aidgen_chat_template.txt 文件
根据大模型的模板修改 test_prompt_serial.cpp 文件：
cpp
// test_prompt_serial.cpp
// ...
// line 43-47
std::string prompt_template_type = "qwen3";
if(prompt_template_type == "qwen3"){
prompt_template = "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n{0}/no_think<|im_end|>\n<|im_start|>assistant\n";
}步骤六：编译运行
bash
# 安装依赖
sudo apt update
sudo apt install libfmt-dev
# 编译
mkdir build && cd build
cmake .. && make
# 编译成功后运行
# 第一个参数 1 表示开启 profiler 统计
# 第二个参数 1 表示 推理循环次数
mv test_prompt_serial /home/ubuntu/aidllm/
cd /home/ubuntu/aidllm/
./test_prompt_serial qwen3-1.7b-aidgen-config.json 1 1- 在终端输入对话内容