APLUX Doc Center

简体中文

English

简体中文

English

使用 MMS 快速开始 (推荐) ​

该章节用于介绍如何结合 Model Farm 网页和 MMS 工具命令来快速评估模型并运行案例。

开发板准备 ​

Model Farm 所提供的模型，针对高通跃龙 (Dragonwing) 物联网芯片平台进行了适配优化，并在采用了高通芯片的开发板上进行了性能测试。Model Farm 已支持以下高通芯片型号：

  • Qualcomm QCS6490
  • Qualcomm QCS8550
  • Qualcomm QCS8625
  • Qualcomm Dragonwing™ IQ9
  • Qualcomm Dragonwing™ IQ8

准备开发者帐户 ​

开发者可以免登录 Model Farm 浏览模型信息和性能指标

当开发者下载模型及示例代码时，需要登录开发者账号才能进行下载

  • 注册成为阿加犀开发者
    • 请访问：开发者帐户注册
    • 按照注册表单提示及要求，填写开发者相关信息
    • 信息填写无误后，提交帐户创建请求

搜索模型 ​

开发者可根据需求，查找 Model Farm 上的模型，并了解模型详细信息，作出快速的评估。

通过浏览器访问 Model Farm 网址进行浏览及模型详情查看。

Model Farm 提供多种方式筛选查找模型：

  • 根据模型类型筛选
  • 根据模型数据精度筛选
  • 根据芯片平台筛选
  • 关键字搜索

查看模型 ​

Model Farm 的模型详情页面提供了 AI 不同量化精度模型在对应硬件上的实测性能。

  • 设备：模型实测所采用的开发板型号及对应芯片型号
  • AI框架：模型转换及推理使用的框架及版本号
  • 模型数据精度：转换后的模型采用的数据精度
  • 推理耗时：模型运行的实测耗时，不包括前后处理
  • 精度损失：对比源模型 (FP32) 和转换后模型的输出矩阵余弦相似度
  • 模型大小：转换后模型文件大小

💡注意

对于同样的 SoC 芯片，不同硬件规格设备，模型性能仅作为参考数据

以 YOLOv5s 在 Rhino Pi-X1 (Qualcomm QCS8550) 为例：

性能参考显示

下载模型 ​

MMS 是针对阿加犀开发板用户提供的组件，可以通过命令行方式登录到 Model Farm 并且查询和下载模型文件。

MMS 登录 ​

bash
# 登录 Model Farm
mms login

# Enter your username: 
# Enter your password:

# 输入正确的账号密码后会提示
# Login successfully.

MMS 模型查询 ​

bash
# 列出所有模型
mms list

# 根据模型名查找模型
mms list yolo
Model        Precision  Chipset           Backend
-----        ---------  -------           -------
YOLO-NAS-l   FP16       Qualcomm QCS8550  QNN2.29
YOLO-NAS-l   INT8       Qualcomm QCS6490  QNN2.29
YOLO-NAS-l   INT8       Qualcomm QCS8550  QNN2.29
YOLO-NAS-l   W8A16      Qualcomm QCS6490  QNN2.29
YOLO-NAS-l   W8A16      Qualcomm QCS8550  QNN2.29
YOLO-NAS-m   FP16       Qualcomm QCS8550  QNN2.29
YOLO-NAS-m   INT8       Qualcomm QCS6490  QNN2.29
YOLO-NAS-m   INT8       Qualcomm QCS8550  QNN2.29

MMS 下载模型 ​

bash
# -m: 模型名称
# -p：模型精度
# -c: 芯片
# -b: qnn版本
# -d: 指定下载路径
# 下载 yolov6l 模型，数据精度为 INT8, 针对 QCS8550 芯片平台优化，推理框架为 QNN2.23

mms get -m yolov6l -p int8 -c qcs8550 -b qnn2.23 -d /home/aidlux/yolov6l


# Downloading model from https://aiot.aidlux.com to directory: /var/opt/modelfarm_models
#
# Downloading [yolov6l_qcs8550_qnn2.23_int8_aidlite.zip] ... done! [40.45MB in 375ms; 81.51MB/s]
#
# Download complete!

💡注意

对于预览板块 (Preview) 的模型 (按钮显示: 联系我们)，不提供通过网页直接下载的方式，需要在阿加犀的开发板上使用 MMS 工具进行下载。具体请参考: 快速开始 (MMS)

模型实测 ​

通过 MMS 下载的模型可以通过以下两种方式测试推理:

使用 APLUX AidLite 推理模型 ​

阿加犀提供了 AI 推理框架 AidLite，用于在端侧设备调用高通 NPU 推理 AI 模型。

Model Farm 支持的模型均能够通过 AidLite SDK 完成模型推理，另外 Model Farm 也提供了对应模型的前后处理代码，保证开发者可以快速查看模型效果。

通过下载模型步骤，开发者可以获得一个完整的模型文件 + 推理代码包，其文件结构如下所示 (以YOLOv5s举例) :

bash
/model_farm_yolov5s
    
    |__ models # 模型文件

    |__ python # 基于python的模型推理代码

    |__ cpp # 基于cpp的模型推理代码

    |__ README.md # 模型信息说明 & 相关软件依赖安装引导

具体例子请参考: YOLOv5 部署

💡注意

对于预览板块 (Preview) 的模型 (按钮显示: 联系我们)，仅能通过阿加犀的开发板上使用 AidLite SDK 工具进行推理。

使用 Qualcomm QNN 推理模型 ​

请参考 Qualcomm QNN 文档

进阶使用: 转换微调模型并测试 ​

阿加犀提供了模型优化平台 AIMO，用于完成模型转换至高通平台专属格式。

Model Farm 支持的模型基本都能够通过使用 AIMO 完成转换。基于此，Model Farm 不仅提供已转换优化的模型文件，同时也提供该模型的使用 AIMO 转换参考步骤。

AIMO 模型转换参考步骤可以在以下两个地方查看：

  • 模型详情页面右侧的性能参考模块查看，点击模型转换参考即可访问。
  • 代码包中的README.md文件 Model Conversion Reference 模块查看，点击链接即可访问。

关于 AIMO 的介绍及使用，请参考：模型优化平台 AIMO 用户指南

开发者将通过 AIMO 转换后输出的 .amf 模型文件替换 Model Farm 模型例子的模型即可。

版权所有 © 2021-2026 阿加犀智能科技