大模型服务部署

大模型工具链安装

A8550MA1 支持 0.5B~14B 参数大模型端侧部署，提供完整的大模型开发工具链。
通过 浏览器远程登录方式登录系统，详细内容可参考 AidGenSE

# 1. 通过应用中心下载应用：
# AidGenSE 2.0.9
# 安装aidgense服务
sudo aid-pkg install aidgense -v 2.0.9

密码：aidlux

在线模型拉取与运行

# 查看可用远程大模型
aidllm remote-list api
# 拉取A8550优化的Qwen2.5-VL-3B多模态模型
aidllm pull api aplux/qwen2.5-vl-3b-instruct-392x392-qnn2.36-w4a16-qcs8550
# 查看已安装模型
aidllm list api
# 启动大模型API服务并查看日志
aidllm start api -m qwen2.5-vl-3b-instruct-392x392-qnn2.36-w4a16-qcs8550 --show-log
# 验证服务状态
aidllm status api
# 正常输出：Api server status: Running

本地模型手动部署

# 1. 将本地模型文件夹（如qwen2.5-1.5b-instruct-q4_k_m）上传到/home/aidlux/
# 2. 复制到模型目录
cp -r qwen2.5-1.5b-instruct-q4_k_m /opt/aidlux/app/aid-openai-api/res/models/

# 3. 修改配置文件/opt/aidlux/app/aid-openai-api/api_cfg.json
{
  "model_cfg_list": [
    {
      "model_id": "qwen2.5-1.5b-instruct-q4_k_m",
      "model_create": "1752735571243",
      "model_owner": "aplux",
      "cfg_path": "./models/qwen2.5-1.5b-instruct-q4_k_m/qwen2.5-1.5b-instruct-q4_k_m.json",
      "prompt_template_type": "qwen2"
    }
  ],
  "default_model_id": "qwen2.5-1.5b-instruct-q4_k_m"
}

# 4. 启动服务
aidllm start api -m qwen2.5-1.5b-instruct-q4_k_m

OpenAI 兼容 API 调用

AidGen 提供与 OpenAI 完全兼容的 API 接口，默认端口为 8888。

文本对话示例

curl http://192.168.100.3:8888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen2.5-VL-3B-392x392-8625",
    "messages": [
      {"role": "user", "content": "简单介绍一下A8550MA1算力卡"}
    ]
  }'

多模态图像分析示例

curl http://192.168.100.3:8888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen2.5-VL-3B-392x392-8625",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "描述这张图片中的内容"},
          {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQEAAAAAAAD/..."}}
        ]
      }
    ]
  }'