[具身智能-636]：AI 边缘计算平台三大核心能力：视频、音频、运动（机器人 / 智能终端视角，适配 RDK X5 这类 D-Robotics 硬件）

AI 边缘计算平台三大核心能力视频、音频、运动机器人 / 智能终端视角适配 RDK X5 这类 D-Robotics 硬件先统一框架定义边缘 AI 载体移动机器人、智能盒、无人设备完整闭环 感知输入 → AI 推理 → 执行输出三大链路全部遵循「信号输入 → 处理 → 信号输出」模型视频链路视觉图像输入、图像输出 》 单模态音频链路听觉音频输入、音频输出 》 单模态运动链路本体执行 / 姿态运动感知输入、运动控制输出 》 单模态多模态图像音频运动感知 》 运动控制一、视频视觉链路输入视觉感知数据源MIPI CSI0/CSI1摄像头IMX415/IMX477USB 摄像头本地视频文件、网络 RTSP 流软件组件srcampy / vio_captureVIO 子系统数据形态NV12/YUYV/BGR 图像帧用途送入BPU 运行 FCOS/ResNet/MobileNet 等 CNN实现目标检测、分类、分割。各种CNN网络是又客户完成的输出视觉呈现 / 推送两类输出屏幕可视化输出HDMI 显示、OSD 叠加检测框srcampy.Display人机预览码流网络输出H.264/H.265 硬件编码srcampy.EncoderRTSP/RTMP 推流到远端完整数据流闭环plaintextCSI摄像头(输入) → ISP → NV12图像 → BPU AI推理 → 检测结果 → OSD画框叠加 / 视频编码推流输出二、音频听觉链路输入声音感知麦克风阵列 / 单麦→声卡采集音频 PCM 数据典型场景语音拾音、噪音采集、声源定位RDK 组件ALSA 音频驱动、hobot_audio SDK输出声音播放喇叭扬声器播放语音播报、告警音、背景音乐 数据流闭环plaintext麦克风音频输入 → 音频预处理 → 语音识别AI推理 → 语言指令合成语音 → 声卡驱动播放音频输出三、运动本体运动链路机器人最核心差异化模块很多方案只做音视频机器人边缘平台必须增加运动控制链路输入运动感知采集机器人自身状态反馈输入IMU陀螺仪、加速度计姿态数据轮式编码器里程数据激光雷达、TOF 距离信息作用感知自身位置、速度、姿态SLAM 建图、姿态解算输出运动执行控制下发控制指令驱动执行机构差速轮、麦克纳姆轮底盘速度指令机械臂关节角度云台舵机转向指令通信通道常见RS485、CAN、串口数据流闭环plaintextIMU/编码器运动感知输入 → 定位/导航算法 → 运动控制指令下发到底盘运动输出整体三大链路架构总览plaintext┌────────────视频链路────────────┐ 输入CSI/USB相机图像 硬件实现 **AI任务目标检测、图像分类、视觉SLAM 硬件实现软件负责建模与模型训练推理硬件实现 输出HDMI预览、编码视频流 硬件实现 ┌────────────音频链路────────────┐ 输入麦克风音频 硬件实现 **AI任务语音识别、降噪、声源定位 硬件实现软件负责建模与模型训练推理硬件实现 输出扬声器语音播报、告警音 硬件实现 ┌────────────运动链路────────────┐ 输入IMU、编码器、雷达感知姿态/位置 硬件实现 **AI任务路径规划、运动平衡、自主导航 软件实现ROS2算法未来由硬件实现 输出底盘、机械臂、云台驱动指令 硬件实现结合 RDK X5 工程对应组件映射方便你代码体系对齐表格链路输入硬件 软件AI 计算单元输出硬件 软件视频CSI0/CSI1 srcampy/vio_capture硬件ISP实现hobot_dnn(BPU)硬件BPU实现HDMI Display /srcampy.Encoder 编码推流硬件ISP实现音频麦克风 ALSA/hobot_audio硬件ISP实现BPU/ARM CPU硬件BPU实现扬声器声卡驱动硬件BPU实现运动IMU、雷达、编码器串口 / CANARM CPU导航 / 控制算法ROS2 算法CAN/RS485 下发底盘指令关键价值总结纯音视频平台安防摄像头、NVR 盒子只有前两大链路音视频 运动三大链路齐全移动机器人、AGV、巡检小车、人形机器人真正自主智能移动平台拓展延伸三大链路数据交互关系机器人业务逻辑举一个巡检机器人典型场景视频输入 → FCOS 检测到人 →运动输出控制云台转向目标音频输出扬声器播报告警运动感知输入IMU / 编码器实时校正自身位置防止碰撞。