使用 AidGen 部署 VLM

介绍

端侧部署视觉多模态大模型 (Vision Language Model, VLM) 指将原本在云端运行的大模型压缩、量化并部署到本地设备上，实现离线、低时延的自然语言理解与生成。本章节以 AidGen 推理引擎为基础，演示如何在边缘设备上完成多模态大模型的部署、加载与对话流程。

在本案例中，多模态大模型推理运行在设备端，通过 C++ 代码调用相关接口接收用户输入并实时返回对话结果。

• 设备：IQ9075
• 系统：Ubuntu 24.04
• 模型：Qwen2.5-VL-3B (392x392)

支持平台

平台	运行方式
IQ9075	Ubuntu 24.04

准备工作

1. IQ9075 硬件

2. Ubuntu 24.04 系统

系统依赖配置

配置 AidLux 依赖源

# 下载正确的公钥
sudo wget -O- https://archive.aidlux.com/ubuntu24/public.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/private-aidlux.gpg > /dev/null

# 编辑源文件
sudo vim /etc/apt/sources.list.d/private-aidlux.list

#在源文件中填入AidLux 提供的私钥
deb [arch=arm64 signed-by=/etc/apt/trusted.gpg.d/private-aidlux.gpg] https://archive.aidlux.com/ubuntu24 noble main

#  更新缓存
sudo apt update

更新完成后，可以通过如下命令获取到AidLux 官方的SDK 依赖

sudo apt list | grep aid | grep unknown

# 安装软件
# 必须先安装的，系统不自带
sudo apt install python3 python3-pip libopencv-dev python3-opencv  net-tools
# 安装 aidlite 之前必须安装的
sudo apt install aidlux-aistack-base aidrtcm

# 安装 aidlite 及依赖 
sudo apt install aid-lms aidlms-sdk aidlite-sdk cmake
sudo apt-get install libfmt-dev nlohmann-json3-dev
sudo apt install aidlite-*

# 支持DSP
sudo apt-get install qcom-fastrpc1
sudo apt-get install qcom-fastrpc-dev

# 安装 aidgen-sdk
sudo apt install aidgen-sdk
sudo apt install aidgen-qnn236
sudo apt install aidgen-qnn240

# 安装 mms 服务
sudo apt install aid-mms

# 支持 GPU
sudo apt-add-repository -s ppa:ubuntu-qcom-iot/qcom-ppa
sudo apt install qcom-adreno-cl1
sudo ln -s /usr/lib/aarch64-linux-gnu/libOpenCL.so.1 /usr/lib/aarch64-linux-gnu/libOpenCL.so

安装完成后检查系统 /usr/local/share 新增 aidlite 和 aidgen 目录

设备授权

获取设备 SN 码

cat  /sys/devices/soc0/serial_number

获取授权文件

提供SN号给阿加犀技术人员，生成设备指定 License 文件，放入路径 /etc/opt/aidlux/license/AidLuxLics 下

激活授权

sudo /opt/aidlux/cpf/aid-lms/manager.sh restart

案例部署

步骤一：AidGen SDK 代码例子拷贝

# 拷贝测试代码
cd /home/ubuntu/aidmlm
cp -r /usr/local/share/aidgen/examples/ ./

步骤二：模型获取

由于 Qwen2.5-VL-3B (392x392) 目前位于 Model Farm 预览板块中，需要通过 mms 命令获取

使用 mms 需要 Model Farm 账号登录，请访问 Model Farm 账号注册

# 登录
mms login

# 查找模型
mms list Qwen2.5-VL-3B

# 下载模型
mms get -m 'Qwen2.5-VL-3B-Instruct (392x392)' -p w4a16 -c qcs8550 -b qnn2.36 -d /home/ubuntu/aidmlm/qwen2.5-vl-3b-392

cd /home/ubuntu/aidmlm/qwen2.5-vl-3b-392
unzip qnn236_qcs8550_cl2048.zip
mv qnn236_qcs8550_cl2048/* /home/ubuntu/aidmlm/

步骤三：配置文件创建

cd /home/ubuntu/aidmlm
vim config3b_392.json

创建如下 json 配置文件

{
    "backend_type": "genie",
    "model": {},
    "vlm_model":{
        "vision_model_path":"veg.serialized.bin.aidem",
        "pos_embed_cos_path":"position_ids_cos.raw",
        "pos_embed_sin_path":"position_ids_sin.raw",
        "vocab_embed_path":"embedding_weights_151936x2048.raw",
        "window_attention_mask_path":"window_attention_mask.raw",
        "full_attention_mask_path":"full_attention_mask.raw",
        "llm_path_list":[
            "qwen2p5-vl-3b_qnn236_qcs8550_cl2048_1_of_1.serialized.bin.aidem"
        ]
    }
}

文件分布如下：

/home/ubuntu/aidmlm
├── embedding_weights_151936x2048.raw
├── full_attention_mask.raw
├── position_ids_cos.raw
├── position_ids_sin.raw
├── qwen2p5-vl-3b_qnn236_qcs8550_cl2048_1_of_1.serialized.bin.aidem
├── veg.serialized.bin.aidem
├── window_attention_mask.raw
├── examples

步骤四：编译运行

cd /home/ubuntu/aidmlm/examples

mkdir build && cd build
cmake .. && make

mv test_multimodal /home/ubuntu/aidmlm/
cd /home/ubuntu/aidmlm/

# 手动上传一张图片到 /home/ubuntu/aidmlm/ 目录
./test_multimodal config3b_392.json test-1.jpg "请描述这张图片"

• 运行结果如下