RK3588 上 YOLOv8/YOLOv11 模型部署实战：加速推理优化指南

在嵌入式设备上部署深度学习模型，尤其是在资源受限的 RK3588 平台上运行 YOLO 目标检测模型，一直是一个具有挑战性的任务。本文将重点讨论如何在 RK3588 平台上利用瑞芯微提供的 RKNN Toolkit 优化 YOLOv11 模型，从而实现更高效的推理。我们将深入探讨性能瓶颈，并提供具体的代码和配置解决方案。

问题场景重现：模型推理速度慢

很多开发者在使用 RK3588 部署 YOLOv11 模型时，都会遇到推理速度慢的问题。即使是较小的 YOLOv11 模型，在未经优化的情况下，也难以达到实时性要求。这严重影响了基于视觉的嵌入式应用的体验。常见的现象包括：CPU 占用率过高、帧率低、视频卡顿等。同时，在复杂的应用场景中，例如多目标检测、小目标检测等，性能问题会更加突出。这通常是由于模型结构复杂、计算量大，以及硬件资源利用率不足造成的。

RKNN Toolkit 原理与优化

RKNN Toolkit 是瑞芯微提供的模型转换和优化工具，可以将 TensorFlow、PyTorch 等框架训练的模型转换为 RKNN 模型，并在 NPU 上进行加速推理。其核心原理包括：

• 模型量化： 将浮点数模型转换为定点数模型，减小模型大小，加速计算。
• 算子融合： 将多个算子合并为一个算子，减少算子间的切换开销。
• 内存优化： 优化内存分配和访问方式，提高内存利用率。
• NPU 加速： 利用 NPU 的并行计算能力，加速推理。

优化步骤与代码示例

1. 环境搭建：

   首先，需要安装 RKNN Toolkit。瑞芯微官方提供了详细的安装文档，这里不再赘述。确保安装完成后，可以正常使用 rknn-toolkit 命令。

   

2. 模型转换：

   将 YOLOv11 的 PyTorch 模型转换为 ONNX 模型，然后使用 RKNN Toolkit 将 ONNX 模型转换为 RKNN 模型。

   

   import torch
   
   # 加载 YOLOv11 模型
   model = torch.hub.load('ultralytics/yolov5', 'yolov5s') # 或者使用自己的 YOLOv11 模型
   
   # 创建 dummy input
   dummy_input = torch.randn(1, 3, 640, 640) # 根据实际输入大小调整
   
   # 导出 ONNX 模型
   torch.onnx.export(model, dummy_input, 'yolov11.onnx', verbose=True, input_names=['input'], output_names=['output'])
   

3. RKNN 模型转换与量化：

   使用 RKNN Toolkit 转换 ONNX 模型为 RKNN 模型，并进行量化。

   

   from rknn.api import RKNN
   
   # 创建 RKNN 对象
   rknn = RKNN(verbose=True)
   
   # 配置模型
   rknn.config(mean_values=[[0, 0, 0]], std_values=[[255, 255, 255]], target_platform=['rk3588'])
   
   # 加载 ONNX 模型
   rknn.load_onnx(model='yolov11.onnx')
   
   # 构建 RKNN 模型
   rknn.build(do_quantization=True, dataset='./dataset.txt') # dataset.txt 是量化数据集，每行一张图片路径
   
   # 导出 RKNN 模型
   rknn.export_rknn('yolov11.rknn')
   
   rknn.release()
   

   • dataset.txt 文件需要包含用于量化的数据集，每行一张图片的路径。建议使用具有代表性的数据集，以提高量化效果。
   • do_quantization=True 开启量化，可以将模型量化为 INT8，显著提高推理速度。

4. RKNN 模型推理：

   将生成的 RKNN 模型部署到 RK3588 平台上，并使用 RKNN Toolkit 提供的 API 进行推理。

   import cv2
   from rknn.api import RKNN
   
   # 创建 RKNN 对象
   rknn = RKNN(verbose=True)
   
   # 加载 RKNN 模型
   rknn.load_rknn('yolov11.rknn')
   
   # 初始化 RKNN
   ret = rknn.init_runtime(target='rk3588')
   if ret != 0:
       print('Init runtime environment failed')
       exit(ret)
   
   # 读取图片
   img = cv2.imread('./test.jpg')
   img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
   
   # 推理
   outputs = rknn.inference(inputs=[img])
   
   # 处理推理结果（这里需要根据 YOLOv11 的输出格式进行解析）
   # ...
   
   rknn.release()
   

实战避坑经验总结

• 量化数据集的选择： 量化数据集的选择非常重要，直接影响量化效果。应选择与实际应用场景相似的数据集进行量化。
• 模型输入尺寸： 确保模型输入尺寸与实际输入尺寸一致。不一致会导致推理结果错误或性能下降。
• NPU 驱动版本： 确保 RK3588 平台上安装了最新版本的 NPU 驱动。旧版本的驱动可能存在性能问题。
• 充分利用多线程： 可以通过设置 core_mask 参数，将推理任务分配到多个 CPU 核心上，提高并发处理能力。结合 Nginx 的反向代理和负载均衡策略，可以进一步提升整体系统的并发连接数和吞吐量。在实际部署时，可使用宝塔面板进行服务器管理和性能监控。
• 关注内存占用： 在资源受限的嵌入式设备上，内存占用是一个重要考虑因素。可以通过减小模型大小、优化内存分配等方式降低内存占用。
• Profiling 工具： 使用 RKNN Toolkit 提供的 Profiling 工具，可以分析模型的性能瓶颈，并针对性地进行优化。

通过以上步骤和优化策略，可以有效地提高 YOLOv11 模型在 RK3588 平台上的推理速度，满足实时性要求。希望本文能帮助开发者更好地在嵌入式设备上部署深度学习模型，推动相关应用的发展。