AI 开发常见问题

Q1: 如何部署大模型服务？

A: 可以使用 AidGenSE ，AidGenSE 是基于 AidGen SDK 封装的适配了 OpenAI HTTP 协议的生成式 AI HTTP 服务。可以通过 HTTP 方式调用生成式 AI 并快速集成到自己的应用中。或者访问模型广场，下载模型文件直接部署。

Q2: 怎么测试 QNN 是否能正常调用

A: 执行下载命令：比如下载 AidLite-QNN231

sudo aid-pkg install aidlite-qnn231

打开文件夹

cd /usr/local/share/aidlite/examples/aidlite_qnn231/python

执行命令，查看命令是否能正常运行

python qnn_yolov5_multi.py 3

显示代表正确使用了 qnn

# 检测到4个区域
1 [115, 236, 203, 538] 0.84474266 person
2 [212, 244, 282, 514] 0.7853776 person
3 [86, 125, 559, 479] 0.5933 bus
4 [474, 228, 561, 517] 0.5707566 person

Q3: 犀牛派 X1 支持的运行的AI模型有那些？

A: 关于板卡支持的AI模型可以查看模型广场链接。