Skip to content

核心 AI SDK 工具链

AidLite SDK(AI 推理加速)

AidLite SDK 是阿加犀统一 AI 推理框架,封装 Qualcomm QNN 后端,实现 CPU/GPU/NPU 异构加速,提供 Python/C++ 统一 API。

安装与验证

bash
# 1. 从文档中心"资源下载中心"获取对应版本的AidLite SDK安装包
# 2. 上传到A8625MY1的/home/aidlux目录
# 3. 解压并安装
tar -xzf aidlite-sdk-ubuntu22.04-qnn236.tar.gz
cd aidlite-sdk
sudo ./install.sh
# 4. 验证安装
python3 -c "import aidlite; print(aidlite.get_library_version())"  # C++库版本
python3 -c "import aidlite; print(aidlite.get_py_library_version())"  # Python库版本

核心加速类型

加速类型说明适用场景
TYPE_CPUCPU 通用加速调试、轻量级模型
TYPE_GPUGPU 通用加速图像处理、浮点模型
TYPE_DSP高通 DSP/NPU 加速量化模型、高性能推理(推荐)

标准推理流程(Python 示例)

python
import aidlite
import cv2
import numpy as np

# 1. 创建模型实例
model = aidlite.Model.create_instance(model_path="./yolov5s.qnn236.bin")
if model is None:
    print("模型加载失败")
    exit(-1)

# 2. 设置模型属性
input_shapes = [[1, 640, 640, 3]]
output_shapes = [[1, 25200, 85]]
model.set_model_properties(
    input_shapes=input_shapes,
    input_data_type=aidlite.DataType.TYPE_FLOAT32,
    output_shapes=output_shapes,
    output_data_type=aidlite.DataType.TYPE_FLOAT32
)

# 3. 创建运行配置
config = aidlite.Config.create_instance()
config.accelerate_type = aidlite.AccelerateType.TYPE_DSP  # 使用NPU加速
config.framework_type = aidlite.FrameworkType.TYPE_QNN
config.number_of_threads = 4

# 4. 初始化推理引擎
ret = model.init(config)
if ret != 0:
    print("推理引擎初始化失败")
    exit(-1)

# 5. 执行推理
img = cv2.imread("test.jpg")
img = cv2.resize(img, (640, 640))
img = img.astype(np.float32) / 255.0
input_data = np.expand_dims(img, axis=0)

outputs = model.run(input_data)
print("推理结果形状:", outputs[0].shape)

AidStream SDK(流媒体处理)

AidStream SDK 是基于管道 (Pipeline) 的流媒体处理工具包,支持硬件加速的视频编解码、推拉流与存储,专为 AI 视频分析应用设计。

核心特性

  • 支持 RTSP (H.264/H.265)、文件、USB/MIPI 摄像头等多种输入源
  • 支持硬件加速的视频编解码,降低 CPU 占用
  • 可与 AidLite SDK 无缝集成,实现 "视频采集→预处理→AI 推理→结果输出" 全链路加速

简单管道示例

python
import aidstream

# 创建管道:USB摄像头采集→H.264编码→RTSP推流
pipeline = aidstream.Pipeline()
pipeline.add_source("usb_cam", device="/dev/video0", resolution="1280x720", fps=30)
pipeline.add_filter("h264_encoder", hardware_accel=True)
pipeline.add_sink("rtsp_sink", url="rtsp://0.0.0.0:8554/live")

# 启动管道
pipeline.start()

AidCV SDK(图像处理加速)

AidCV SDK 是 GPU/NPU 加速的计算机视觉库,提供与 OpenCV 完全兼容的 API,专为 Ubuntu 系统优化。

核心优势

  • 接口与 OpenCV 完全一致,现有代码可无缝迁移
  • 支持 GPU/NPU 加速的图像预处理操作(缩放、裁剪、颜色转换等)
  • 原生支持 Ubuntu 桌面的图像渲染

简单示例

python
import aidcv2 as cv2
import numpy as np

# 读取图像
img = cv2.imread("test.jpg")

# GPU加速的图像缩放
img_resized = cv2.resize(img, (640, 640))

# GPU加速的颜色转换
img_rgb = cv2.cvtColor(img_resized, cv2.COLOR_BGR2RGB)

# 显示图像
cv2.imshow("Result", img_rgb)
cv2.waitKey(0)