一、引言具身智能为什么需要一颗大脑过去几年大语言模型LLM在数字世界里展现了惊人的推理与生成能力但它始终被困在屏幕里——能说却不能做。具身智能Embodied AI要解决的正是这个问题让智能体拥有物理身体在真实世界中感知、决策并行动。而连接感知-认知-行动这三者的关键枢纽就是视觉-语言-动作模型Vision-Language-Action ModelVLA。如果把具身智能体比作一个人传感器是它的眼睛和皮肤执行器是它的手和脚那么VLA模型就是它的大脑。这颗大脑要同时理解摄像头看到的画面、听懂人类下达的自然语言指令还要输出精确的电机控制信号。本文将从架构层面系统拆解VLA模型的设计思路梳理其从RT-1到OpenVLA的演进脉络并结合作者在多模态动态加权方向的前期研究工作讨论模态融合这一核心难题。二、VLA是什么从视觉-语言到视觉-语言-动作VLA并不是凭空出现的概念它的技术血脉来自两条路线的汇合。第一条是视觉-语言模型VLM以CLIP为代表的双塔对比学习打通了图像与文本的语义空间此后BLIP、LLaVA等模型把视觉特征嫁接到语言模型上让LLM具备了看图说话的能力。第二条是机器人策略学习从早期的模仿学习、强化学习到Decision Transformer把轨迹建模为序列预测问题机器人控制逐渐被纳入下一个token预测的统一范式。VLA的本质就是把这两条线拧成一股将视觉观测、语言指令、机器人本体状态统一编码为token序列送入一个共享的Transformer主干再从中解码出动作。它带来的最大改变是知识迁移——模型在互联网规模的图文数据上学到的常识比如苹果是红色的、圆形的、可以抓握的可以直接服务于物理世界的操作任务而不必从零学习每一个物体。三、架构拆解VLA的三大核心组件尽管各家实现细节不同主流VLA模型在宏观架构上高度一致可以拆成三路输入编码—统一主干—动作解码头三段式结构。3.1 多模态输入编码VLA的输入通常有三路。视觉一路最重的计算来自视觉编码器主流选择是CLIP或SigLIP预训练的ViT把图像切成patch后提取语义特征部分工作如RT-1使用EfficientNet这类轻量卷积网络换取实时性。语言一路直接复用LLM的分词器与嵌入层。本体状态一路关节角度、末端位姿、夹爪开合度、力触觉等维度低但信息密度高一般用简单的MLP投影到统一的嵌入空间。3.2 统一主干网络主干通常是一个预训练好的大型Transformer。RT-2直接采用PaLI-X与PaLM-E的VLM权重OpenVLA基于Llama 2改造PaLM-E则把连续模态的嵌入注入到PaLM语言模型中。把所有模态拉平成token序列后自注意力机制天然地完成了跨模态信息交换——这正是VLA架构的优雅之处不需要为每对模态设计专用的融合模块注意力本身即是融合。3.3 动作解码头动作输出是当前架构分化最明显的环节主要有三种路线。其一是离散token化RT-2把每个动作维度离散化为256个bin当作特殊词表让模型说出动作实现与语言生成的完全统一但精度受bin粒度限制。其二是连续回归头直接在主干输出上接一个MLP回归连续动作OpenVLA即采用此方案。其三是生成式动作头以π0Pi-Zero为代表的流匹配Flow Matching方法和Diffusion Policy的扩散方法用迭代去噪生成动作轨迹块action chunk在高频精细操作上表现更好代价是推理时延增加。四、代表性模型演进路线下表梳理了VLA发展史上六个里程碑式工作的关键设计选择可以清晰地看到大脑的进化逻辑规模越来越大、动作表示越来越精细、开放程度越来越高。模型年份视觉编码主干动作表示RT-12022EfficientNetTokenLearnerTransformer离散token256 binPaLM-E2023ViT-22BPaLM-540B多模态嵌入注入RT-22023ViTPaLI-XPaLI-X / PaLM-E动作即token联合微调Octo2024轻量ViTTransformer93M扩散动作头开源OpenVLA2024SigLIPDINOv2Llama 2-7B连续回归完全开源π02024SigLIPPaliGemma动作专家流匹配50Hz高频控制表1代表性VLA模型架构对比据各论文公开资料整理从这条演进线可以看出三个趋势第一视觉编码从单塔走向语义细节双塔融合OpenVLA把SigLIP的语义特征与DINOv2的空间细节特征拼接显著提升了空间推理能力第二主干从闭源巨模型走向开源中等规模模型7B量级已成为学术界复现与微调的主流基座第三动作生成从粗粒度离散化走向连续化、块化、高频化流匹配等生成式方法正在取代简单的分bin回归。五、模态融合的核心难题从静态拼接到动态加权架构图里的统一主干看起来一劳永逸但真正的魔鬼藏在细节里三路模态的信息量并不对等且随场景剧烈变化。机器人在光线充足的桌面抓取物体时视觉特征贡献最大在黑暗环境或物体被遮挡时本体状态与触觉才是可靠依据而当指令本身包含歧义“把那个拿过来”时语言模态需要视觉上下文来消解指代。用固定方式拼接或等权融合所有模态等于假设世界永远不变——这在真实机器人场景中是站不住脚的。这正是作者前期研究工作的切入点。在作者已发表并被Scopus检索的论文中提出了一种多模态动态加权融合机制MQN-DWG不再让各路特征以静态权重进入融合层而是引入一个轻量的质量评估网络根据当前各模态输入的置信度实时计算归一化权重——视觉清晰时视觉主导视觉退化时自动切换到状态与语言主导。该思路与多模态融合领域的MulT多模态Transformer一脉相承但针对具身场景的实时性与鲁棒性做了重构。作者注关于MQN-DWG机制的完整数学定义、质量查询网络结构与消融实验数据可参考相关Scopus检索论文。本文侧重架构层面的论述不再展开公式细节。把视角拉回VLA主线国际上的最新工作也在向同一方向收敛。CLIP式的静态对齐在具身任务中频繁失效催生了多种自适应融合尝试有工作在注意力层引入模态门控gating有工作用Mixture-of-Experts让不同专家处理不同模态组合π0的动作专家设计本质也是一种权重的结构化分配。可以说动态加权正在从一种可选优化变成VLA走向真实环境的必修课——这与作者在MQN-DWG中论证的核心判断完全一致。六、挑战与展望尽管进展迅猛VLA距离真正通用的具身大脑仍有四道坎。第一是数据互联网图文数据以百亿计而最大的机器人操作数据集Open X-Embodiment也只有百万级轨迹数据规模的差距限制了模型的泛化上限仿真合成数据与世界模型生成数据是两条突围路线。第二是实时性7B模型在边缘设备上跑到50Hz控制频率几乎不可能模型蒸馏、动作块缓存与大脑-小脑分层架构高层低频规划、底层高频执行是当前的主流折中。第三是长时序任务现有VLA大多擅长几十秒的原子技能面对做一顿饭这类需要几十个子任务串联的场景还需要上层任务规划器与记忆机制配合。第四是安全与评测物理世界的试错代价远高于数字世界如何建立标准化的安全评测基准是比刷榜成功率更迫切的议题。展望下一步作者认为有三个值得关注的方向其一动态加权与MoE架构的深度结合让模态路由成为可学习、可解释的一等公民其二VLA与Agentic工作流的融合大模型负责任务分解与工具调用VLA负责底层执行形成规划脑运动脑的双层结构其三触觉、力觉等接触模态的规模化接入这将是VLA从会看会做走向会做精细活的关键一跃。七、结语VLA模型的演进史本质上是一部大脑不断打通感官与四肢的历史CLIP打通了眼与脑RT-2打通了脑与手而接下来的竞争焦点是让这颗大脑学会根据环境灵活分配注意力——知道什么时候该相信眼睛什么时候该相信身体。作者在多模态动态加权方向的探索MQN-DWG正是这场大演进中的一块拼图。架构的统一让知识得以迁移而融合的智慧将决定具身智能能走多远。本文为作者首发于CSDN的技术论述转载请保留出处。
