Skip to content

模型广场预览版 (Model Farm Preview) 用户指南

简介

模型广场 (Model Farm) 会积极主动的适配当前比较前沿或者受欢迎的 AI 模型,为了让开发者能提前了解模型广场 (Model Farm) 模型适配发布的计划以及相关模型性能参数,我们推出了模型广场预览版 (Model Farm Preview)

模型广场预览版 (Model Farm Preview) 与模型广场 (Model Farm) 的使用方法一致,界面交互统一。开发者可以快速查看模型广场即将发布的模型性能参数,或者通过联系阿加犀获取支持,提前获取相关模型文件以及推理代码。

💡注意

模型广场预览版 (Model Farm Preview) 仅用于查看模型适配情况以及相关性能参数,无法下载和使用,需要等待模型正式完成发布后再模型广场 (Model Farm) 中下载使用。

快速开始

Model Farm Preview 仅用于提前展示模型相关性能参数无法下载,因此开发者可以免登陆访问该页面所有信息

访问 Model Farm Preview 页面

查看模型

开发者可根据需求,查找 Model Farm Preview 上的模型,并了解模型详细信息,作出快速的评估。

Model Farm Preview 提供多种方式筛选查找模型:

  • 根据模型类型筛选
  • 根据模型数据精度筛选
  • 根据芯片平台筛选
  • 关键字搜索

模型性能参考

Model Farm Preview 的模型详情页面提供了 AI 模型在对应硬件上的实测性能

  • 设备:模型实测所采用的开发板型号及对应芯片型号
  • AI框架:模型转换及推理使用的框架及版本号
  • 模型数据精度:转换后的模型采用的数据精度
  • 推理耗时:模型运行的实测耗时,不包括前后处理
  • 精度损失:对比源模型 (FP32) 和转换后模型的输出矩阵余弦相似度
  • 模型大小:转换后模型文件大小

💡注意

对于同样的 SoC 芯片,不同硬件规格设备,模型性能仅作为参考数据

以 SigLIP-so400m 在 MeiG SNM972 (QCS8550) 为例:

性能参考显示

提前获取模型文件及代码

模型广场的预览板块模型不支持网页下载,开发者可以在阿加犀的板卡上,通过 mms 命令下载预览板块模型。以获取 MobileClip2-S3 为例子

  1. 通过 mms 登录
bash
mms login

# Enter your username: 
# Enter your password:

# 输入正确的账号密码后会提示
# Login successfully.
  1. 查询模型
bash
mms list mobileclip # 支持关键字搜索

# 会看到如下输出
Model           Precision  Chipset           Backend
-----           ---------  -------           -------
MobileClip-S2   FP16       Qualcomm QCS8550  QNN2.31
MobileClip2-S3  FP16       Qualcomm QCS8550  QNN2.36
  1. 下载 MobileClip2-S3
bash
# -m: 模型名称
# -p:模型精度
# -c: 芯片
# -b: qnn版本
mms get -m MobileClip2-S3 -p fp16 -c qcs8550 -b qnn2.36

# 模型资源会默认下载到 /var/opt/modelfarm_models