星动纪元发布端到端原生机器人大模型，提升机器人对透明材质的感知能力

星动纪元发布端到端原生机器人大模型提升机器人对透明材质的感知能力机器人对真实世界的理解能力正在迎来新的突破。近日星动纪元发布其端到端原生机器人大模型的最新进展重点展示了机器人对复杂、透明物体场景的全新视觉感知效果。透明物体轮廓识别精度提升在官方公布的对比视频中最左侧画面展示的是真实世界的原始画面效果。中间的未经算法美化的原始深度图显示透明物体的轮廓存在明显的识别困难杯子的轮廓呈现破碎状态部分杯壁与背景相互混合香槟塔在深度图中出现大量空洞几乎难以辨认其形状轮廓。而在最右侧的视频中经过新模型处理后透明物体的识别效果显著改善。杯子的边界、层级和整体结构变得更加完整顶部杯子、酒瓶与杯塔之间的空间关系清晰可辨甚至连较细的透明水柱结构也呈现出清晰的轮廓。深度图在机器人视觉中的角色深度图是机器人视觉系统中的一种数据表示方式它通过记录场景中每个像素点到传感器的距离信息帮助机器人理解物体的空间位置和立体结构。传统的深度传感器在处理玻璃、水面等透明材质物体时常因光线穿透或折射导致数据缺失或错误形成视觉盲区。星动纪元此次展示的模型能够在透明物体场景中还原出更完整的深度信息从而使机器人对环境的空间理解更接近人类视觉的感知水平。端到端模型的技术路径该模型采用端到端的设计思路即从输入传感器数据到输出控制指令整个过程由单一神经网络完成无需经过传统机器人系统中常见的模块化拆解。这种架构有助于减少信息在模块间传递时的损耗提升机器人对复杂环境的实时响应能力。在酒瓶与酒杯相互遮挡、层次交错的场景中新模型能够区分不同物体之间的空间前后关系并将这些物理信息转化为机器人行动决策的依据。业内人士指出透明物体和反光材质向来是机器人视觉系统公认的难点场景此次突破意味着机器人对真实世界的感知正在向更复杂的日常环境延伸。应用场景的潜在影响对透明、半透明物体的精准识别在多种实际场景中具有重要意义。例如在餐饮服务机器人、实验室操作机器人以及家庭服务机器人等场景中机器人需要频繁处理玻璃杯、试管、水瓶等物体。此前这些物体的识别失败率较高往往成为机器人执行任务的瓶颈。星动纪元此次发布的技术成果为机器人在这类场景中的自主操作提供了更可靠的视觉基础。杯子轮廓从破碎变为完整闭合杯塔结构从空洞密布变为分层清晰细透明水柱在深度图中首次被清晰检测网友玻璃与透明物体是机器人视觉噩梦 研究被视为重要里程碑“玻璃、透明物体才是机器人视觉的噩梦这是重要的里程碑。”一项机器人视觉研究在发布后引发网友如此热议。专业名词解析机器人视觉机器人视觉是指机器人通过传感器和图像处理算法感知环境、识别物体的技术能力。网友观点聚焦玻璃、透明物体才是机器人视觉的噩梦这是重要的里程碑。该评价集中反映了网络用户对此次研究进展的关注与期待。一言蔽之对于具身视觉来说看得见还只是第一步看得准才有机会真正行动起来。机器人看世界最怕“差一点”虽然具身智能这几年确实很火但真把它们丢进真实场景的时候我们往往会发现很多问题会迅速回到最基础的一层视觉感知稳不稳。第一类老大难的问题就是透明和反光材质。刚才的香槟塔就是典型例子透明杯壁在RGB画面里能看到但深度传感器和深度模型常常会在这里不稳定有的地方补不上、有的边缘粘在一起、有的区域直接空掉。LingBot-Depth 2.0的输出更像是在帮机器人补上一层稳定的空间骨架是尽量在把杯口、杯壁、杯身之间的几何关系保持住。这对于机器人的抓取任务来说可以说是非常关键的。因为机械臂要抓杯子并不只需要知道“这是杯子”。它还要知道杯子的边界、开口方向、可接近位置以及手爪靠近时会不会碰到旁边那一层杯子。就像昨天蚂蚁灵波提前放出的预告片里机器人首先看到带有透明水柱的清晰深度图知道水在哪里才能准确将水壶推到水柱下继而接满一壶水。第二类难点是小目标和远距离目标。在下面这个例子里原始视频是一只狗狗在户外追逐一个网球远处的狗狗已经算是不大的目标了网球在整个画面里更是显小从效果上来看中间的raw depth基本是糊得一塌糊涂完全分不清任何主体跟别提小如网球的目标了。反观LingBot-Depth 2.0这边的结果地面、远处墙体、网球、树木和狗的位置关系更清楚。这个能力放到移动机器人、巡检机器人、人形机器人身上价值会更直接。移动机器人往前走时不能等到障碍物贴脸了才反应。它需要提前看到远处的人、宠物、路障、货架边缘然后把这些信息交给导航和规划系统。如果远距离深度一直不稳定机器人就很容易一会儿误以为前方没东西一会儿又突然发现障碍物动作自然也会变得迟疑甚至危险。第三类难点是室内复杂场景。比如家里的玻璃门、窗帘、电视柜、阳台杂物光照还会随着镜头移动不断变化。以往视觉模型的结果经常会在玻璃、强光、阴影、边缘交界处出现大片破碎和空洞而LingBot-Depth 2.0的结果则是更连续墙面、玻璃门、窗帘、地面和近处物体之间的空间层次保留得更完整。这类任务对于家庭服务机器人来说是比较重要的毕竟家庭环境中的东西往往摆放很随意机器人如果要在这种环境里送水、拿东西、避让人和家具就需要一个足够稳定的空间输入。第四类难点是弱光、遮挡和杂乱。在下面这个室内走廊和房间视频里门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果边缘位置容易冒出噪点和缺口而LingBot-Depth 2.0结果则更稳定墙面、门框、桌面边缘更连续。这些案例合在一起其实指向的是同一个问题即机器人看世界不能只靠语义理解。它需要的视觉能力更接近一种空间常识比如哪里是边界、哪里是空的、哪里能走哪个物体还离我很远等等。这也是LingBot-Depth 2.0要体现的几个重点边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠在复杂材质和复杂光照下深度图破碎和缺失更少。但更关键的问题来了为什么这些提升会发生答案要回到LingBot-Vision。空间原生视觉为什么要从“边界”学起传统视觉基础模型的发展过去很长时间都在围绕让模型更好地理解图像内容这个目标。但也正如我们刚才提到的机器人眼里的世界是不太一样的。一只猫不只是“猫”这个类别机器人还要知道猫离自己多远身体边界在哪里会不会突然移动桌子边缘和猫之间有没有安全距离。所以具身智能需要的视觉底座必须更重视几何结构。而几何结构里一个很重要的入口就是边界。边界不只是物体轮廓它往往同时意味着深度突变、遮挡关系、空间分割和可交互区域。比如杯口的边缘、门框的边线、桌面的轮廓、行人和背景之间的分界都会影响机器人后续的移动、避障和抓取。LingBot-Vision的核心思路就是把边界和空间结构放到预训练目标里。为此团队专门提出了masked boundary modeling可以理解成一种让模型专门学习难点的自监督训练方式。LingBot-Vision提出边界感知遮蔽策略模型被迫学习高信息密度区域传统的Masked Image ModelingMIM通常采用随机遮蔽图像中的部分区域并让模型通过上下文信息还原这些区域。然而研究人员指出随机选择往往导致模型遮蔽的是墙面、天空、地板等“信息密度不高”的区域。即便模型成功猜对了这些区域的内容也不意味着其真正习得了空间结构与语义关系。“模型猜对了也未必真正学到了空间结构。”教师模型在线检测边界token针对这一问题LingBot-Vision提出了一套更具针对性的策略。该方法不再使用随机遮蔽而是引入一个教师模型在训练过程中实时、在线地识别图像中的“边界token”。这些token通常对应着物体轮廓、纹理突变、结构转折等具有较高空间信息量的位置。强制学习“更难”的区域在识别出边界token后教师模型会将这些token强制加入到学生模型的mask遮蔽集合中。这一设计的核心逻辑是模型不能仅仅在容易预测的平坦区域“刷题”而必须去学习那些更具挑战性、蕴含更多空间结构信息的边界区域。传统方法侧重“猜空墙”学习效率受限。新方法通过强制遮蔽边界迫使模型理解物体间的空间关系与结构边界。逻辑拆解从“猜”到“学”的转变从流程上看LingBot-Vision的遮蔽策略可以拆解为以下几个步骤首先教师模型对输入图像进行实时分析定位出所有属于边界性质的token其次将这些边界token以高优先级加入遮蔽集合最后学生模型在训练时只能通过这些边界token的上下文信息进行还原从而学习到更具空间表征能力的内容。这种设计改变了传统MIM中遮蔽区域的随机性与低选择性使模型的学习目标从“恢复像素”转向“理解结构”。这就是boundary-forcing。更细一点看边界token还会被分配几何目标。模型不只学习语义也学习边界场也就是那些能描述边界位置、方向和几何关系的信号。为了让这种训练更稳定团队还引入了分类化的边界场表示以及a-contrario检验减少把噪声误当成真实结构的情况。说白了LingBot-Vision是在预训练阶段就告诉模型别只盯着“这是什么”也要学会“它的边界在哪、形状如何、和周围空间是什么关系”。这也是它和DINOv3这类通用视觉基础模型的关键差异之一。虽然LingBot-Vision也建立在DINO自蒸馏范式的基础上但LingBot-Vision额外引入了Boundary forcing机制让模型在掩码建模过程中更关注形状和物体边界相关结构。从结果来看LingBot-Vision是一个约10亿参数级的ViT通过纯自监督训练在密集空间任务上可以匹敌或超过参数量最多大约7倍的视觉基础模型在NYU-Depth v2上取得所有对比模型中的最佳精度包括7B DINOv3在内。更有意思的是它的蒸馏学生模型也很能打。论文显示0.3B学生模型在NYU-Depth v2上能达到与7B DINOv3相当的精度参数量大约少23倍。对机器人来说这一点很现实——不是所有机器人都能背着一个巨大的模型到处跑端侧部署、算力成本、延迟都得算账。LingBot-Depth 2.0则是这条技术路线的一个直接验证。它基于LingBot-Vision升级在12个深度补全benchmark上取得领先结果。更重要的是论文里提到随着下游训练数据增加LingBot-Vision编码器带来的优势会进一步扩大。换言之底座如果更懂空间后面的深度模型吃更多数据时优势不会被冲淡反而可能越训练越明显。所以LingBot-Vision和LingBot-Depth 2.0的关系不能简单理解成“一个视觉模型加一个深度模型”。前者是空间原生视觉底座后者是空间感知能力的落地验证。Depth2.0之所以能在透明、反光、远距离、小目标、复杂室内场景里表现更稳背后支撑它的是LingBot-Vision在预训练阶段就更重视边界和几何结构。具身要真正上岗视觉感知很重要或许提到具身智能最容易被我们get到的技术是大模型接入机器人让它们能听懂指令、规划任务并且和人对话。但有一说一当他们真进到工厂、仓库、商场、家庭这些环境里视觉亦然是非常重要的一个环节。因为视觉一旦不稳后面的链条都会受影响。移动机器人可能绕不开障碍物机械臂可能抓偏服务机器人可能误判门、墙、玻璃和人之间的位置人形机器人也很难在复杂环境中稳定行动。所以具身智能真正落地也需要视觉底座、空间感知、运动控制、硬件传感器一起往前走。这也是此次蚂蚁灵波开源LingBot-Vision和发布LingBot-Depth 2.0的意义所在。他们把机器人需要的视觉和空间感知能力做成一个更容易复用的底座。对机器人企业、开发者和研究机构来说这有助于降低使用门槛也能让下游团队更快验证移动、避障、抓取等真实任务。从场景看这类能力可以服务移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备和空间计算等方向。此外LingBot-Depth 2.0已通过奥比中光深度视觉实验室认证。双方也围绕EGO-RGBD数采设备、SDK和后续一体化相机产品展开合作说明这套能力正在从论文继续走向硬件与产品集成。当然视觉底座升级不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本都还需要继续打磨。但趋势已经很清楚具身智能的竞争正在往更底层走。毕竟机器人要进入真实世界第一步就是看准。当机器人开始更好地理解空间具身智能离真正上岗也就更近了一步。本文来源https://www.moyubuhuang.com/keji/202607/79540.html