边缘AI部署概述：为什么要优化、常见硬件平台对比

边缘AI部署概述为什么要优化、常见硬件平台对比把 AI 模型从训练环境搬到边缘设备上跑不是导出模型文件那么简单——速度、内存、功耗、精度每一项都要权衡。这篇先讲清楚边缘AI部署的核心挑战、常见硬件平台对比、以及优化的整体思路为后面的实操打基础。大家好我是黒漂技术佬。做售货柜项目的时候我最开始把 YOLOv5s 直接往 RK3588 上扔结果跑起来才 5fps根本没法用。后来一步步优化模型改小、量化、NPU 加速、流水线并行最后跑到了 30fps功耗还降了一半。边缘部署和云端训练完全是两个世界。云端 GPU 显存大、算力强怎么折腾都行边缘设备资源有限每一点算力、每一寸内存都要精打细算。这是边缘AI部署系列第一篇先把整体图景讲清楚。一、什么是边缘AI边缘AI就是把AI模型部署在端侧设备上本地推理不依赖云端。为什么要做边缘部署低延迟数据不用传到云端本地出结果毫秒级响应隐私安全数据不出设备摄像头画面不上传合规性好离线可用没网也能跑售货柜、工业设备都需要带宽成本低视频流不回传省流量费可靠性高不依赖网络和云服务单点故障不影响典型场景智能售货柜就是我做的安防摄像头、人脸识别门禁工业质检、缺陷检测自动驾驶、辅助驾驶无人机、机器人智能家居设备二、边缘部署的核心挑战云端训练是「精度优先」边缘部署是「在有限资源下尽量保精度」。四大约束1. 算力有限边缘设备的算力和服务器 GPU 不是一个量级设备算力大概RTX 3090~35 TFLOPS (FP32)RK3588 NPU~6 TOPS (INT8)树莓派 4 CPU~0.01 TOPS手机中端芯片~5-10 TOPS差了几百上千倍。2. 内存有限RK3588 也就 4GB/8GB 内存还要分给系统、分给其他程序模型不能太大。大模型一张特征图就几百 MB根本放不下。3. 功耗受限嵌入式设备很多是电池供电或者散热条件差。功耗高了发热降频反而更慢。4. 精度不能掉太多模型压缩、量化都会损失精度要在速度和精度之间找平衡。识别准确率掉太多业务就没法用了。优化的三角关系精度 / \ / \ 速度 —— 内存三者互相制约优化就是在这三者之间找最优解。三、常见边缘硬件平台对比做边缘部署选对硬件是第一步。按算力梯队划分第一梯队高性能边缘5 TOPS 以上平台算力特点适用场景RK35886 TOPS8核CPUNPUGPU性价比高生态好售货柜、工控、机器人Jetson Orin NX100 TOPSNVIDIA生态CUDA兼容贵机器人、自动驾驶地平线 J55 TOPS车规级BPU架构智能驾驶第二梯队中端1-5 TOPS平台算力特点适用场景RK35681 TOPS便宜功耗低轻量检测、门禁高通 QCS6102.5 TOPS手机芯片下放功耗低摄像头、可穿戴海思 3519~1 TOPS安防领域常用监控摄像头第三梯队微控制器级1 TOPS平台特点适用场景ESP32-S3极低成本只能跑超小模型关键词唤醒、简单分类STM32 外接NPU灵活但复杂工业微检测K210RISC-V KPU入门级教学、玩具怎么选我的经验做产品、追求性价比 → RK3588强烈推荐算法复杂、需要CUDA生态 → Jetson 系列低功耗摄像头场景 → RK3568 / 高通超低成本简单任务 → ESP32 / K210RK3588 是目前性价比最高的边缘AI芯片没有之一。6 TOPS NPU 8核大核CPU 双ISP一千块钱左右的开发板能搞定 90% 的视觉场景。四、模型优化的技术栈从训练到部署优化是一层层的┌─────────────────────────────────────┐ │ 1. 模型选型选合适的 backbone │ 训练阶段 ├─────────────────────────────────────┤ │ 2. 训练优化蒸馏、剪枝、轻量化设计 │ 训练阶段 ├─────────────────────────────────────┤ │ 3. 模型转换ONNX → 平台专用格式 │ 转换阶段 ├─────────────────────────────────────┤ │ 4. 量化FP32 → FP16 / INT8 │ 转换阶段 ├─────────────────────────────────────┤ │ 5. 推理引擎优化NPU/GPU加速 │ 部署阶段 ├─────────────────────────────────────┤ │ 6. 工程优化流水线、多线程、内存 │ 部署阶段 └─────────────────────────────────────┘越靠前的优化收益越大。模型选对了后面省很多事模型本身太大后面怎么优化都有限。各层优化的收益预估优化手段速度提升精度损失难度模型选型换小模型2-10倍可能较大低量化INT82-4倍1-2%中剪枝1.5-2倍视情况高NPU 硬件加速5-20倍取决于量化中工程流水线优化1.5-3倍无中组合起来能优化几十倍这就是为什么同样的模型不同的人部署出来速度差十倍。五、部署流程总览一个模型从训练到上线的完整流程第一步训练数据集准备、标注选模型结构、训练评估精度、调参第二步导出PyTorch → ONNX简化模型onnx-simplifier检查算子兼容性第三步转换与量化ONNX → 平台格式RKNN / TensorRT / NCNN准备校准数据集PTQ 量化训练后量化精度验证第四步部署集成写推理代码预处理/后处理优化和业务逻辑对接多线程、流水线第五步测试优化性能测试速度、内存、功耗精度测试和PC端对比压力测试、长时间稳定性bad case 分析、迭代优化六、常见推理框架不同平台用不同的推理框架框架适用平台特点RKNN瑞芯微 RK3588/3568官方工具链NPU加速易用TensorRTNVIDIA GPU性能最强CUDA生态NCNN手机/CPU腾讯开源ARM CPU优化好MNN手机/CPU阿里开源轻量ONNX Runtime跨平台微软通用性好TFLite手机/微控制器Google移动端主流我主要用 RKNN毕竟做 RK3588 项目最多。七、新手容易踩的坑坑 1直接拿训练模型部署训练用的大模型直接扔到边缘设备上肯定跑不动。训练先追求精度部署再考虑大小和速度这是两个阶段的事。坑 2只看速度不看精度量化完速度上去了精度掉了 10%业务上没法用。速度和精度要一起评估。坑 3忽略预处理/后处理时间很多人只测推理时间忽略了图像缩放、格式转换、NMS 后处理。实际项目里预处理可能占了一半时间。坑 4不考虑内存峰值模型能跑起来不代表没问题多路并发的时候内存爆了。要测峰值内存占用。坑 5只测单帧速度单帧推理快不代表实际流水线快。数据拷贝、线程调度、IO 开销都算进去才是真实速度。八、本系列的内容安排这个系列 12 篇从模型选型到工程落地全覆盖边缘AI部署概述本篇模型选型与轻量化选对 backbone 事半功倍模型训练优化数据增强、知识蒸馏、训练技巧模型剪枝去掉冗余参数模型瘦身模型量化原理INT8 量化是怎么回事RKNN 模型转换从 PyTorch 到 RKNN 全流程RKNN 量化实战校准、精度调试RK3588 推理优化多线程、零拷贝、内存多路视频推理架构多摄像头并发方案精度评估与 bad case 优化部署工程化版本管理、热更新、异常处理售货柜实战端到端优化落地全记录九、本篇小结边缘AI的核心挑战算力、内存、功耗、精度四大约束硬件平台分三档高性能RK3588/Jetson、中端RK3568、MCU级优化是分层的模型选型 → 训练优化 → 量化 → 硬件加速 → 工程优化部署完整流程训练 → 导出 → 转换量化 → 集成 → 测试优化不同平台对应不同推理框架RK3588 用 RKNN优化不是只看推理速度预处理、后处理、内存都要考虑下一篇讲模型选型与轻量化YOLO 系列怎么选、轻量网络有哪些、不同场景怎么选模型。我是黒漂技术佬。