Skip to content

Model Farm 预览版用户指南

简介

模型广场 (Model Farm) 会积极主动的适配当前比较前沿或者受欢迎的 AI 模型,为了让开发者能提前了解模型广场 (Model Farm) 模型适配发布的计划以及相关模型性能参数,我们推出了模型广场预览版 (Model Farm Preview)

模型广场预览版 (Model Farm Preview) 与模型广场 (Model Farm) 的使用方法一致,界面交互统一。开发者可以快速查看模型广场即将发布的模型性能参数,或者通过联系阿加犀获取支持,提前获取相关模型文件以及推理代码。

💡注意

模型广场预览版 (Model Farm Preview) 仅用于查看模型适配情况以及相关性能参数,无法下载和使用,需要等待模型正式完成发布后再模型广场 (Model Farm) 中下载使用。

快速开始

Model Farm Preview 仅用于提前展示模型相关性能参数无法下载,因此开发者可以免登陆访问该页面所有信息

系统依赖配置

配置 AidLux 依赖源

bash
# 下载正确的公钥
sudo wget -O- https://archive.aidlux.com/ubuntu24/public.key | gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/private-aidlux.gpg > /dev/null

# 编辑源文件
sudo vim /etc/apt/sources.list.d/private-aidlux.list

#在源文件中填入AidLux 提供的私钥
deb [arch=arm64 signed-by=/etc/apt/trusted.gpg.d/private-aidlux.gpg] https://archive.aidlux.com/ubuntu24 noble main

#  更新缓存
sudo apt update

更新完成后,可以通过如下命令获取到AidLux 官方的SDK 依赖

bash
sudo apt list | grep aid | grep unknown
bash
# 安装软件
# 必须先安装的,系统不自带
sudo apt install python3 python3-pip libopencv-dev python3-opencv  net-tools
# 安装 aidlite 之前必须安装的
sudo apt install aidlux-aistack-base aidrtcm

# 安装 aidlite 及依赖 
sudo apt install aid-lms aidlms-sdk aidlite-sdk cmake
sudo apt-get install libfmt-dev nlohmann-json3-dev
sudo apt install aidlite-*

# 支持DSP
sudo apt-get install qcom-fastrpc1
sudo apt-get install qcom-fastrpc-dev

# 安装 aidgen-sdk
sudo apt install aidgen-sdk

# 安装 mms 服务
sudo apt install aid-mms

# 支持 GPU
sudo add-apt-repository ppa:ubuntu-qcom-iot/qcom-noble-ppa
sudo apt install qcom-adreno-cl1
sudo ln -s /usr/lib/aarch64-linux-gnu/libOpenCL.so.1 /usr/lib/aarch64-linux-gnu/libOpenCL.so

安装完成后检查系统 /usr/local/share 新增 aidliteaidgen 目录

设备授权

获取设备 SN 码

bash
cat  /sys/devices/soc0/serial_number

获取授权文件

提供SN号给阿加犀技术人员,生成设备指定 License 文件,放入路径 /etc/opt/aidlux/license/AidLuxLics

访问 Model Farm Preview 页面

查看模型

开发者可根据需求,查找 Model Farm Preview 上的模型,并了解模型详细信息,作出快速的评估。

Model Farm Preview 提供多种方式筛选查找模型:

  • 根据模型类型筛选
  • 根据模型数据精度筛选
  • 根据芯片平台筛选
  • 关键字搜索

模型性能参考

Model Farm Preview 的模型详情页面提供了 AI 模型在对应硬件上的实测性能

  • 设备:模型实测所采用的开发板型号及对应芯片型号
  • AI框架:模型转换及推理使用的框架及版本号
  • 模型数据精度:转换后的模型采用的数据精度
  • 推理耗时:模型运行的实测耗时,不包括前后处理
  • 精度损失:对比源模型 (FP32) 和转换后模型的输出矩阵余弦相似度
  • 模型大小:转换后模型文件大小

💡注意

对于同样的 SoC 芯片,不同硬件规格设备,模型性能仅作为参考数据

以 SigLIP-so400m 在 MeiG SNM972 (QCS8550) 为例:

性能参考显示

提前获取模型文件及代码

模型广场的预览板块模型不支持网页下载,开发者可以在阿加犀的板卡上,通过 mms 命令下载预览板块模型。以获取 MobileClip2-S3 为例子

  1. 通过 mms 登录
bash
mms login

# Enter your username: 
# Enter your password:

# 输入正确的账号密码后会提示
# Login successfully.
  1. 查询模型
bash
mms list mobileclip # 支持关键字搜索

# 会看到如下输出
Model           Precision  Chipset           Backend
-----           ---------  -------           -------
MobileClip-S2   FP16       Qualcomm QCS8550  QNN2.31
MobileClip2-S3  FP16       Qualcomm QCS8550  QNN2.36
  1. 下载 MobileClip2-S3
bash
# -m: 模型名称
# -p:模型精度
# -c: 芯片
# -b: qnn版本
mms get -m MobileClip2-S3 -p fp16 -c qcs8550 -b qnn2.36

# 模型资源会默认下载到 /var/opt/modelfarm_models