developers.googleblog.com Gemini 4 Argon for Robotics- Google Developers Blog Discover Gemini 4 Argon for robotics: leading the ERQA benchmark with physical reasoning, zero-shot control, Real2Sim, and agentic workflows. [!quote]+ Gemini 4 Argon 在物理世界理解、代码生成及视觉语义推理能力方面实现了跨越式提升，从而在整个机器人技术栈中开启了全新的工作流程，并加速了通往物理世界通用人工智能（Physical AGI）的进程。 这种能力的飞跃在“具身推理”（ERQA）基准测试中得到了印证——该测试旨在评估模型在三维环境中理解并解决物理与空间问题的能力。Argon 仅凭纯粹的推理能力便取得了 87% 的高分，超越了所有其他前沿模型。 作为一种通用物理推理模型，Argon 可应用于机器人技术的全生命周期。本文将分享 Argon 在以下四个关键领域的代表性提示词（prompts）： 机器人控制 → 涵盖基于 MuJoCo 实践的移动操作、零样本（zero-shot）机器人控制，以及视频世界模型的闭环转向控制。 Real2Sim → 基于机器人摄像头画面、第一人称视角（egocentric）人类视频或手绘草图，构建经物理校准的仿真孪生模型。 物理理解 → 包含对灵巧操作、密集价值函数及进度评估进行深度理解的智能体多模态事后标注（hindsight labeling）。 研究与自我提升 → 通过仿真实现动作优化，以及在硬件平台上进行迭代式自我提升。 利用 Argon 实现机器人控制 Spot 移动操作：基于 MuJoCo 模拟的脚踏式垃圾桶投放练习 Argon 控制波士顿动力（Boston Dynamics）的 Spot® 四足机器人（具备 12 自由度腿部和 6 自由度机械臂）学习一项新技能：踩下脚踏式垃圾桶的踏板，并将汽水罐投入其中。在实际踩踏物理踏板并将汽水罐投入开启的垃圾桶之前，Argon 会先构建一个具备关节结构的 MuJoCo 数字孪生模型，用于练习相关动作。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/Spot-can-long-voiceover-preview.mp4 零样本控制 Argon 控制一个简单的机械臂，将一个倒下的马克杯扶正，并将揉皱的餐巾纸放入杯中。Argon 利用视觉坐标体系和动作原语进行推理，分多个步骤完成了这项任务。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/yam_control.mp4 全向控制 Argon 在 Gemini Omni 世界模型中引导机器人，将五个散乱的拼字游戏（Scrabble）棋子重新排列成整齐的一行，拼写出“ARGON”字样。Argon 并非仅依赖单一的静态提示，而是在闭环视觉反馈下进行引导：它编写带有时间戳的动作提示，检查中间过程的关键帧，并据此不断优化提示内容。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/omni_control_final_2.mp4 利用 Argon 实现 Real2Sim 从机器人视角到模拟环境 Argon 观察真实的机器人遥操作过程并构建数字孪生体；它获取或创建模拟资产，使其在与灵巧手接触时的外观和行为表现与真实物体一致。Argon 通过一个迭代式的视觉推理循环，对资产和场景进行微调，确保模拟环境中的视觉效果和接触事件与真实记录数据中的相应内容相匹配。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/real2sim_final.mp4 从人类视角到仿真环境 针对包含操作任务的人类视角视频，Argon 系统能够识别与任务相关的物体；对于凹形容器，它将粗略的边界框替换为经由复合凸分解（compound convex decomposition）生成的网格模型；同时，它将人类手部的运动轨迹重定向至一个具备 76 个自由度（DoF）的双臂人形机器人模型上——该模型配备了拥有 22 个自由度的五指手，并基于 MuJoCo 物理引擎进行接触动力学仿真。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/human_real2sim_2.mp4 从草图到仿真 借助 Argon，开发者只需拍摄一张简单的手绘草图——描绘一个 Apollo 2 人形机器人沿抛物线轨迹投掷球，以击倒桌面上呈“3-2-1”堆叠排列的箱子——Argon 就能自动构建 GPU 加速场景，合成包含全身及五指动作（共 76 自由度）且保持平衡的投掷轨迹，在闭环物理仿真中验证是否成功击倒全部 6 个目标，并导出 Blender 4.5 Cycles 渲染结果。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/sketch_to_sim_final.mp4 利用 Argon 洞察物理交互本质 事后标注与数据质量 Argon 对灵巧操作具有精准的物理理解能力，能够基于视频提供详尽的分割与文本标注信息。它能够识别操作不当的片段，例如停顿、抓取不稳或操作失误（fumbles）。以一段俯视视角视频为例，其中双臂 ALOHA 2 机器人耗时 136 秒将一张正方形纸折叠成折纸狐狸；针对该过程，Argon 生成了一套时间对齐的四级事后标注层级结构：任务目标（G1）、6 个连续的语义子任务（G2）、17 个接触层级的原子动作基元（G3），以及自动质量控制（QC）重加权机制——该机制确保在发生操作失误或重试期间，任务进度指标保持平稳（不发生回退）。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/aloha2_origami_hindsight_1.mp4 找出那个特殊的球 为了利用机器人重现经典的“12球天平”谜题，Argon 构建了一个基于双臂 Franka FR3 机器人的 MuJoCo 仿真环境，其中包含 12 个外观完全相同的台球（其中一个的重量与其他球不同，即偏重或偏轻）以及一个带有铰接结构的 Roberval 双盘天平。随后，Argon 开发了一种仅依赖视觉的闭环求解算法：该算法利用双目 RGB 相机对球体进行三角定位，在每次称重后通过视觉读取天平的倾斜状态，并能在 3 次称重内将那个特殊的球筛选出来，将其放入“重球”（红色）或“轻球”（蓝色）托盘中。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/weight_puzzle_2.mp4 价值函数 Argon 是一种适用于机器人任务的通用价值函数。在基于人类 UMI 数据集的一段时长 60 秒的双臂圆环分拣任务中，Argon 针对接触状态转换前后的时段，迭代分析同步采集的头部、左夹爪及右夹爪相机画面，从而生成密集的价值函数与任务进度预测，并将轨迹分解为 28 个片段，分别对应正向、中性和负向的进度斜率。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/umi_progress_labeling_final_1.mp4 利用 Argon 赋能研究与自我提升 通过仿真实现动作性能提升 Argon 能够在仿真环境中生成新数据，从而提升通用视觉-语言-动作（VLA）模型的性能。仅需一张真实的桌面场景 RGB 照片，Argon 即可自主构建经过校准的 MuJoCo 仿真孪生环境，定义新任务，并合成闭环运动生成器，在仿真中采集超过 4,500 个包含域随机化（domain randomization）的交互片段；这一过程将真实物理机器人的任务成功率从 56% 提升至 75%，并将任务完成时间从 35 秒缩短至 24 秒。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/action_improvement_final.mp4 视觉拾取与放置任务中的自我提升 在一款简单的六自由度机械臂上，Argon 通过尝试与自我反思，在拾取与放置任务中迭代提升了执行速度和放置精度。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/so101_final.mp4 基于单条提示词（One-prompt）的 MuJoCo WebAssembly 机器人论文复现 Argon 仅需针对每篇论文输入一条提示词，即可读取机器人控制相关的论文及已发布的模型检查点（checkpoints）；它将物理模型与闭环控制器（涵盖从 DeepLo​​co 的 7 网络分层运动控制、HUSKY 的 50Hz PPO 智能体，到 Whole-Body MPC 中的 Web Worker iLQR 等多种方案）移植为独立的 MuJoCo WebAssembly 浏览器实验环境，并在无头模式（headless）的 Chromium 中进行验证。 https://storage.googleapis.com/gweb-developer-goog-blog-assets/original_videos/recreating_robotics_papers_1.mp4 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/14 14:49:56