大模型服务部署

大模型工具链安装

A8625MY1 支持 0.5B~14B 参数大模型端侧部署，提供完整的大模型开发工具链。

# 1. 从文档中心"资源下载中心"获取以下安装包
# aidgense_2.0.5_arm64.aid.gpg
# aidgen-sdk_1.0.0.9_arm64_ub2204.deb
# aid-openai-api_2.0.0_arm64.deb
# 2. 上传到A8625MY1的/home/aidlux/LLM目录
# 3. 安装依赖
apt update && apt install -y python3-pip libssl-dev
# 4. 安装AidGen SDK
dpkg -i aidgen-sdk_1.0.0.9_arm64_ub2204.deb
# 5. 安装OpenAI兼容API服务
dpkg -i aid-openai-api_2.0.0_arm64.deb
# 6. 安装aidgense服务
sudo aid-pkg -i -d aidgense_2.0.5_arm64.aid.gpg

在线模型拉取与运行

# 查看可用远程大模型
aidllm remote-list api
# 拉取针对A8625优化的Qwen2.5-VL-3B多模态模型
aidllm pull api aplux/Qwen2.5-VL-3B-392x392-8625
# 查看已安装模型
aidllm list api
# 启动大模型API服务并查看日志
aidllm start api -m Qwen2.5-VL-3B-392x392-8625 --show-log
# 验证服务状态
aidllm status api
# 正常输出：Api server status: Running

本地模型手动部署

# 1. 将本地模型文件夹（如qwen2.5-1.5b-instruct-q4_k_m）上传到/home/aidlux/LLM
# 2. 复制到模型目录
cp -r qwen2.5-1.5b-instruct-q4_k_m /opt/aidlux/app/aid-openai-api/res/models/

# 3. 修改配置文件/opt/aidlux/app/aid-openai-api/api_cfg.json
{
  "model_cfg_list": [
    {
      "model_id": "qwen2.5-1.5b-instruct-q4_k_m",
      "model_create": "1752735571243",
      "model_owner": "aplux",
      "cfg_path": "./models/qwen2.5-1.5b-instruct-q4_k_m/qwen2.5-1.5b-instruct-q4_k_m.json",
      "prompt_template_type": "qwen2"
    }
  ],
  "default_model_id": "qwen2.5-1.5b-instruct-q4_k_m"
}

# 4. 启动服务
aidllm start api -m qwen2.5-1.5b-instruct-q4_k_m

OpenAI 兼容 API 调用

AidGen 提供与 OpenAI 完全兼容的 API 接口，默认端口为 8888。

文本对话示例

curl http://192.168.100.3:8888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen2.5-VL-3B-392x392-8625",
    "messages": [
      {"role": "user", "content": "简单介绍一下A8625算力卡"}
    ]
  }'

多模态图像分析示例

curl http://192.168.100.3:8888/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen2.5-VL-3B-392x392-8625",
    "messages": [
      {
        "role": "user",
        "content": [
          {"type": "text", "text": "描述这张图片中的内容"},
          {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQEAAAAAAAD/..."}}
        ]
      }
    ]
  }'