IB-Robot实战教程如何用自然语言通过OpenClaw远程控制机器人【免费下载链接】IB_RobotSave the code of IB-Robot, an AI robot execution framework developed by openEuler Embedded for embodied intelligence scenarios. It includes references to the forked version of tensormsg, references to lerobot fork, code references to the lerobot_ros2:ros2_ws branch, as well as some code related to development usability.项目地址: https://gitcode.com/openeuler/IB_Robot前往项目官网免费下载https://ar.openeuler.org/ar/想要通过自然语言对话就能控制机器人吗IB-Robot框架结合OpenClaw AI Agent让你可以用最自然的语言远程操控机器人无论是仿真环境中的虚拟机械臂还是真实的SO-101机械臂现在都可以通过飞书、QQ、Discord等社交软件进行对话式控制。IB-Robot是openEuler Embedded开发的智能具身机器人执行框架它巧妙融合了Hugging Face LeRobot机器学习生态与ROS 2机器人中间件为具身智能研发提供从采集、训练到部署的完整工具链。这个框架最酷的功能之一就是通过OpenClaw实现社交控制让机器人控制变得像聊天一样简单为什么选择IB-Robot OpenClaw传统的机器人控制需要编写复杂的代码或使用专业的控制软件而IB-Robot与OpenClaw的结合带来了革命性的变化自然语言交互直接用中文或英文对话控制机器人跨平台支持支持Ubuntu仿真、openEuler Embedded和OpenHarmony板端社交软件集成通过飞书、QQ、Discord等常用软件控制智能理解AI Agent能理解复杂指令并执行相应动作系统架构概览IB-Robot的系统架构设计精巧实现了从感知、决策到执行的端到端闭环多模态感知与采集通过ROS 2 Driver统一接入多路相机、雷达及麦克风协议转换枢纽tensormsg负责ros_msg与tensor之间的双向转换推理与研发服务支持各类VLA大模型及端到端策略模型统一动作执行器在ACT模式下负责Action Chunking调度与高频插值准备工作环境搭建1. 克隆IB-Robot仓库git clone https://gitcode.com/openeuler/IB_Robot cd IB_Robot2. 一键初始化环境IB-Robot提供了一键初始化脚本自动完成所有重型操作./scripts/setup.sh这个脚本会同步所有子模块包括关键的RosClaw自动识别Ubuntu/openEuler Embedded/OpenHarmony平台安装ROS 2 Humble和colcon构建工具创建虚拟环境并安装ML相关依赖3. 安装系统依赖OpenClaw社交控制需要rosbridge_suite提供WebSocket通信能力sudo apt-get update sudo apt-get install -y ros-humble-rosbridge-suite机器人端配置启动RosClaw桥梁1. 启动机器人本体首先启动机器人本体程序可以选择仿真模式或真实硬件模式# 仿真模式 ros2 launch robot_config robot.launch.py \ robot_config:so101_single_arm \ control_mode:model_inference \ use_sim:true \ with_inference:false # 真实硬件模式 ros2 launch robot_config robot.launch.py \ robot_config:so101_single_arm \ control_mode:model_inference \ use_sim:false2. 启动社交桥梁IB-Robot已将RosClaw作为子模块引入src/rosclaw执行以下脚本一键启动./scripts/start_rosclaw.sh启动后系统将在9090端口开启WebSocket服务这是OpenClaw与机器人通信的桥梁。控制端配置安装和配置OpenClaw1. 安装OpenClaw CLIOpenClaw需要Node.js 22环境# 安装OpenClaw CLI npm install -g openclaw # 执行初始化向导配置你的LLM如GLM-4/5或GPT-4 openclaw onboard2. 集成RosClaw插件在IB_Robot根目录下执行将插件安装到OpenClawopenclaw plugins install ./src/rosclaw/extensions/openclaw-plugin3. 配置机器人连接设置机器人WebSocket地址替换为实际IPopenclaw config set plugins.entries.rosclaw.config.rosbridge.url ws://机器人IP:90904. 注入IB-Robot专用技能为了让AI准确理解单位弧度和视觉话题请部署技能说明书mkdir -p ~/.openclaw/workspace/skills/ibrobot-control cp ./docs/ib_robot_social_skill.md ~/.openclaw/workspace/skills/ibrobot-control/SKILL.md5. 启动Gatewayopenclaw gateway关键注意事项ROS_DOMAIN_ID设置重要提示在使用OpenClaw控制机器人之前必须确保OpenClaw侧的ROS_DOMAIN_ID与机器人端一致。否则OpenClaw将无法发现ROS2话题和服务表现为ros2 CLI不可用或无法发送控制指令。每次开启新终端后都需要设置唯一的Domain IDexport ROS_DOMAIN_ID0-232之间的唯一数字跨机器运行时参与的所有机器必须使用相同的ROS_DOMAIN_ID。实战交互示例连接成功后你可以在网页端(http://localhost:18789)或绑定的飞书、QQ或Discord中输入自然语言指令基础控制指令查看机器人当前的能力清单—— 获取所有传感器话题把机械臂恢复到初始位置—— AI会根据技能文档自动将角度转换为弧度打开夹爪—— 控制夹爪完全打开关闭夹爪—— 控制夹爪完全闭合视觉感知指令帮我看看桌子上有什么—— AI会调用/camera/top/image_raw抓拍并分析图像从顶部摄像头看一下当前场景—— 获取顶部摄像头画面显示手腕摄像头的图像—— 获取手腕摄像头画面高级AI任务帮我抓取桌上的瓶子—— AI将触发IB-Robot的DispatchInferAI任务执行抓取红色积木的任务—— 启动端到端的VLA模型推理进行物体分拣操作—— 执行复杂的多步骤任务理解机器人控制原理关节状态与控制SO-101机械臂有6个关节arm5个关节基座、肩部、肘部、手腕俯仰、手腕旋转gripper1个关节夹爪重要单位约定所有关节位置都以弧度为单位对于机械臂或归一化绝对值0.0到1.0对于夹爪不要发送角度值。如果用户要求90度你必须将其转换为1.5708弧度后再发布控制话题读取当前位置订阅/joint_states类型sensor_msgs/msg/JointState发送机械臂命令发布到/arm_position_controller/commands类型std_msgs/msg/Float64MultiArray需要5个浮点数的弧度数组发送夹爪命令发布到/gripper_position_controller/commands类型std_msgs/msg/Float64MultiArray需要1个浮点数0.0表示关闭1.0表示打开视觉系统机器人有三个摄像头顶部/camera/top/image_raw手腕/camera/wrist/image_raw前方/camera/front/image_raw在仿真中是/world/demo/.../image板端部署BQ3588HM OpenHarmony对于需要在BQ3588HM OpenHarmony开发板上部署的场景IB-Robot提供了完整的解决方案Node.js交叉编译在OpenHarmony板端部署OpenClaw需要先交叉编译Node.js v22.19.0# 提取OHOS NDK mkdir -p /tmp/opencode/ohos-ndk tar xzf $OHOS_SDK_TARBALL -C /tmp/opencode/ohos-ndk 18/native/llvm/bin/ tar xzf $OHOS_SDK_TARBALL -C /tmp/opencode/ohos-ndk 18/native/llvm/lib/ # 编译Node.js export CFLAGS-fPIC -D__MUSL__1 -marcharmv8-acrcaes export CXXFLAGS-fPIC -D__MUSL__1 -marcharmv8-acrcaes ./configure --dest-cpuarm64 --dest-oslinux --cross-compiling --openssl-no-asmOpenClaw离线部署由于板端通常无外网需要在主机侧准备离线安装包npm install -g --prefix /tmp/opencode/openclaw-board-prefix \ openclaw2026.6.8 \ --omitdev \ --oslinux \ --cpuarm64 \ --libcmusl详细部署步骤可参考docs/BQ3588HM_OpenHarmony_NodeJS_OpenClaw_Gateway.md文档。常见问题与解决方案1. 控制器残留问题如果遇到控制器无法启动或端口占用的问题运行清理脚本./scripts/cleanup_ros.sh2. 共享内存报错若出现RTPS_TRANSPORT_SHM Error请尝试清理缓存sudo rm -rf /dev/shm/fastrtps_* export ROS_LOCALHOST_ONLY13. 仿真窗口无法显示若启动仿真后没有出现可视化窗口检查DISPLAY环境变量export DISPLAY:14. OpenClaw无法连接机器人确保ROS_DOMAIN_ID在两端一致防火墙允许9090端口通信RosClaw服务已成功启动高级功能分布式推理部署IB-Robot支持分布式推理部署可以将计算密集型任务卸载到专用算力设备Ubuntu单机调试ros2 launch robot_config robot.launch.py \ robot_config:so101_single_arm \ control_mode:model_inference \ execution_mode:distributed \ use_sim:true \ cloud_local:trueUbuntu仿真 板端NPU推理Ubuntu主机仿真 Edgeros2 launch robot_config robot.launch.py \ robot_config:so101_single_arm \ control_mode:model_inference \ execution_mode:distributed \ use_sim:true端侧开发板NPU Cloud节点ros2 launch inference_service cloud_inference.launch.py \ policy_path:/path/to/model \ device:npu总结与展望IB-Robot与OpenClaw的结合为机器人控制带来了全新的交互体验。通过自然语言对话即使是没有任何编程经验的用户也能轻松控制复杂的机器人系统。这种社交控制模式不仅降低了使用门槛还为机器人的人机交互开辟了新的可能性。未来随着AI技术的不断发展我们可以期待更精准的意图理解更复杂的多步骤任务执行多机器人协同控制实时视觉反馈与调整无论你是机器人研究者、开发者还是对智能机器人感兴趣的爱好者IB-Robot的OpenClaw社交控制功能都值得一试。开始你的自然语言机器人控制之旅吧项目地址: https://gitcode.com/openeuler/IB_Robot使用指导: 参考项目中的README.md和docs/目录下的详细文档【免费下载链接】IB_RobotSave the code of IB-Robot, an AI robot execution framework developed by openEuler Embedded for embodied intelligence scenarios. It includes references to the forked version of tensormsg, references to lerobot fork, code references to the lerobot_ros2:ros2_ws branch, as well as some code related to development usability.项目地址: https://gitcode.com/openeuler/IB_Robot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
