大疆具身智能面试,居然考了一道LLM微调题
前面八篇把大疆的传统强势方向都聊了一遍,从飞控到视觉到导航,基本覆盖了他们过去十年的核心技术栈。但这第九篇要聊的方向跟前面画风完全不同——具身智能算法工程师,这是大疆近一两年新开的岗位,面试内容直接跳到了VLA模型、多模态大模型和机器人学习的交叉地带。说白了,大疆也看到了RT-2、OpenVLA这些工作带来的范式变革。传统的感知-规划-控制pipeline正在被端到端的大模型方案挑战,大疆不可能不布局。这个岗位的面试既有传统机器人学的底子,又有深度学习和LLM的内容,混合度非常高。VLA模型:从RT-1到OpenVLA的技术脉络具身智能的核心是VLA(Vision-Language-Action)模型,面试里这是必考方向。面试官问:"RT-1、RT-2和OpenVLA这三个模型的核心区别是什么?它们分别解决了什么问题?"RT-1(Robotics Transformer 1)是Google在2022年发的工作,思路是把机器人的动作(机械臂末端位姿、夹爪开合)tokenize成离散的动作token,然后用一个Transformer模型以图像和语言指令为输入自回归预测动作token。本质上就是把机器人控制变成了一个"看图说话+做动作"的多模态序列预测问题。RT-2的关键改进是把动作token空间和VLM(Vision-Language Model)的词汇表统一了。RT-2用的是PaLI-X或者PaLM-E这种已经预训练好的视觉语言模型做底座,把机器人动作token直接嵌入到VLM的token空间里。这样模型不仅继承了VLM的视觉

相关新闻

Java 虚拟线程原理与性能压测实测

Java 虚拟线程原理与性能压测实测

一、虚拟线程要解决什么问题Java 传统线程(平台线程)是对操作系统线程的 1:1 封装——每个 Java 线程背后是一个 OS 线程。OS 线程很重:一个线程栈默认占 1MB 内存,线程切换要陷入内核态,开销约 1~3μs。这导致两个硬限…

2026/7/27 5:25:11阅读更多 →
【OpenClaw从入门到精通】第84篇:为什么选择本地部署的 AI Agent 平台(超详细实战版)

【OpenClaw从入门到精通】第84篇:为什么选择本地部署的 AI Agent 平台(超详细实战版)

【OpenClaw从入门到精通】第84篇:为什么选择本地部署的 AI Agent 平台(超详细实战版) 摘要 2025年,AI Agent 不再只是 demo 里的玩具,而是逐步进入企业生产环境。然而,云端 Agent 方案(如 OpenAI Assistants、Google Vertex AI Agent Builder)在数据安全、成本可控性…

2026/7/27 5:25:11阅读更多 →
华为OD机试真题解析:几何平均值最大子数组的算法与实现

华为OD机试真题解析:几何平均值最大子数组的算法与实现

1. 项目概述:从一道真题看算法思维与工程实践最近在准备华为OD机试的朋友,估计没少被“几何平均值最大子数组”这道题刷屏。它频繁出现在各类真题汇总和备考攻略里,俨然成了检验候选人算法功底和思维缜密度的一块“试金石”。乍一看标题&…

2026/7/27 5:25:11阅读更多 →
多模态AI怎么学?图片、文档、表格都能成为输入

多模态AI怎么学?图片、文档、表格都能成为输入

大众对人工智能的传统认知,大多局限于文字交互:使用者输入文字指令,AI返回文字答案,这种单一文字输入输出的模式,被称为单模态AI交互。但在真实学习、办公、工作场景中,绝大多数有效信息都不是纯文字形式&a…

2026/7/27 6:57:20阅读更多 →
AI基本结构11-rnn实现简单nlp

AI基本结构11-rnn实现简单nlp

循环神经网络数据准备和之前差不多,不赘述了# 一些超参数 learning_rate 1e-3 # 如果有GPU,该脚本将使用GPU进行计算 device cuda if torch.cuda.is_available() else cpu raw_datasets load_dataset(code_search_net, python) datasets raw_dataset…

2026/7/27 6:57:20阅读更多 →
AI工作流是什么?为什么比单个工具更重要

AI工作流是什么?为什么比单个工具更重要

在当前数字化办公普及的环境下,绝大多数学生与职场人员的AI使用方式,仍停留在“单次提问、单次解决问题”的浅层阶段。日常工作中遇到写文案、整理表格、简单改错、内容润色等任务,多数人都是临时输入指令、单次获取结果,用完即结…

2026/7/27 6:57:20阅读更多 →
共享屏幕怎么操作 异地共享屏幕的方法

共享屏幕怎么操作 异地共享屏幕的方法

异地对接工作、分隔两地相伴观影时,很多人都会疑惑共享屏幕怎么操作,常规共享软件存在时长限制、画面模糊等短板,普通投屏工具又只局限局域网使用,很难适配远距离场景。共享屏幕怎么操作才能兼顾流畅度与隐私保障?推荐…

2026/7/27 6:57:20阅读更多 →
华为CANN架构下Mul与Div算子的深度优化实践

华为CANN架构下Mul与Div算子的深度优化实践

1. CANN架构与算子基础解析华为CANN(Compute Architecture for Neural Networks)作为全栈AI计算架构,其核心设计理念是通过硬件-软件协同优化来释放Ascend芯片的算力潜能。在深度学习领域,基础算子如Mul(乘法&#xff…

2026/7/27 6:57:20阅读更多 →
PostgreSQL服务状态检查与故障排查指南

PostgreSQL服务状态检查与故障排查指南

1. 服务状态检查的必要性与场景解析在Linux环境下管理PostgreSQL数据库时,服务状态检查是最基础却至关重要的操作。作为数据库管理员或开发人员,我每天至少会执行5-10次状态检查命令,这就像飞行员在起飞前必须检查仪表盘一样成为肌肉记忆。典…

2026/7/27 6:55:20阅读更多 →
覆盖国产 + 海外 + 开源模型,OpenClaw 2.7.9 Windows/Mac 双端部署详解

覆盖国产 + 海外 + 开源模型,OpenClaw 2.7.9 Windows/Mac 双端部署详解

🔹 工具基础介绍 OpenClaw 是开源生态中一款实用性较强的本地智能工具,凭借本地离线运行、可视化图形操作和任务自动化三大核心特性,赢得了众多用户的青睐。与普通在线对话AI工具不同,它属于能够直接操控本机软硬件的智能数字员工…

2026/7/27 1:14:34阅读更多 →
伺服阀焊完微漏毁整机?精密激光焊接三关锁住高压

伺服阀焊完微漏毁整机?精密激光焊接三关锁住高压

所谓液压伺服阀体的精密激光焊接,是用激光束对阀座壳体(通常为不锈钢或铝合金)进行密封焊接,使阀体在21-35MPa的高压液压油或压缩气体中长期运行而不发生介质泄漏。液压伺服阀是高端液压系统的"大脑"。从航空航天飞行控…

2026/7/27 1:14:52阅读更多 →
D2DX:三步实现《暗黑破坏神2》高清宽屏体验的终极指南

D2DX:三步实现《暗黑破坏神2》高清宽屏体验的终极指南

D2DX:三步实现《暗黑破坏神2》高清宽屏体验的终极指南 【免费下载链接】d2dx D2DX is a complete solution to make Diablo II run well on modern PCs, with high fps and better resolutions. 项目地址: https://gitcode.com/gh_mirrors/d2/d2dx 你是否还在…

2026/7/27 1:14:56阅读更多 →
SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

1. 项目概述:从寄存器手册到实战指南 如果你手头有一份类似德州仪器(TI)TMS320x240xA系列DSP的SPI模块技术手册,看着里面密密麻麻的寄存器位定义、时序图和公式,是不是感觉头大?这份资料虽然权威&#xff0…

2026/7/27 0:00:24阅读更多 →
【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/7/27 0:00:24阅读更多 →
2007-2023年各市区县生态文明建设示范区DID

2007-2023年各市区县生态文明建设示范区DID

数据简介 自改革开放以来,我国依赖高投入、高资源消耗和高污染等传统发展模式实现了经济短期内的快速增长, 然而这也导致了严重的生态环境危机。因此,国家有力于推动企业高质量经济发展,协同生态保护的方针,从而从201…

2026/7/27 0:00:24阅读更多 →
YOLOv8推理性能优化:从1.2FPS到35FPS的全链路加速实践

YOLOv8推理性能优化:从1.2FPS到35FPS的全链路加速实践

如果你在部署 YOLOv8 时,发现推理速度只有可怜的 1-2 FPS,而别人的演示视频却能跑到 30 FPS 以上,那么问题很可能不在模型本身,而在于你的整个处理链路。很多开发者拿到一个训练好的 YOLOv8 模型后,会直接使用官方示例…

2026/7/25 23:03:25阅读更多 →
Coze与Dify对比指南:低代码AI应用开发从入门到实战

Coze与Dify对比指南:低代码AI应用开发从入门到实战

1. 从零到一:为什么你需要了解 Coze 和 Dify?如果你对 AI 应用开发感兴趣,但一看到“大模型”、“智能体”、“工作流”这些词就头疼,觉得门槛太高,那这篇文章就是为你准备的。很多开发者,包括我自己&#…

2026/7/26 19:05:21阅读更多 →
AI生图工具怎么选?2026年6月版实测对比

AI生图工具怎么选?2026年6月版实测对比

做自媒体的朋友应该都有体会:配图一直是个让人头疼的问题。2026年,AI生图工具已经非常成熟了,但工具太多反而不知道怎么选。以下是截至2026年6月我对主流AI生图工具的实测对比。Midjourney V8.1:速度之王2026年6月11日&#xff0c…

2026/7/26 19:05:21阅读更多 →