by Carolina Parada
从脚尖到指尖——我们正在教机器人掌握智能全身控制、精细的灵巧操作以及团队协作，以完成广泛的各种复杂任务。
几十年来，我们一直梦想着机器人能够无缝地步入我们的世界，助我们一臂之力。如今，这一愿景迈出了重要的一步。
大多数机器人是针对狭窄、重复的任务序列进行预编程或远程操作的。它们缺乏自主学习或适应不可预测环境的能力。此外，将习得的技能从一个机器人身体转移到另一个机器人身体仍然极其困难。为了大规模解决最棘手的问题，各种形状和大小的机器人都需要 AI 模型赋予它们思考、行动和智能交互的能力，从而安全地完成任务。
我们曾展示过 Gemini 的多模态理解能力如何驱动现实世界的行动，即 Gemini Robotics。今天，我们介绍 Gemini Robotics 2——这是为下一代真正适应性机器人提供动力的智能层。随着它迈出字面意义上的第一步，这一重大进展解锁了智能全身控制、高级灵巧操作和多机器人协作。
Gemini Robotics 2 使机器人能够推理每一个动作，从而解锁广泛的各种任务。例如，它可以使双足机器人行走、蹲下、伸展，并操作物体来清理杂乱的房间。它甚至可以与其他机器人组队，更快地完成工作。这种强大的智能还可以在设备本地运行，同时只需短短几小时就能适应全新的机器人身体。
我们通过三个强大的模型实现了这一点：
- Gemini Robotics 2：
我们最先进的视觉-语言-动作模型（VLA），它将视觉和语言输入转换为电机控制，使机器人能够采取行动。该模型能够控制完整的双足机器人（从脚尖到指尖）以及其他双臂机器人。它还为双手和夹爪带来了全新水平的灵巧操作能力。
Gemini Robotics ER 2：
我们能力最强的具身推理（ER）模型。它是一个视觉语言模型（VLM），充当我们的代理，使机器人能够与人类交流、理解物理世界并规划持续数分钟的多步骤任务。我们还引入了机器人作为一个团队协同工作的能力。
- Gemini Robotics On-Device 2：
我们最高效的视觉-语言-动作模型（VLA），经过优化可在机器人设备上本地运行。该模型现在只需几小时的数据即可快速适应全新的机器人实体。
配备 Inspire 机械手的 Apollo通用全身操作条形图
Gemini Robotics 2 使用相同的模型检查点控制三种不同的实体——配备 SharpaWave 机械手的 Apptronik Apollo 2 机器人、配备 Inspire 机械手的 Apollo 2 机器人，以及配备 Robotiq 夹爪的 Franka Duo——在广泛的各种全身和灵巧操作任务上。每个条形代表同一技能类别中多个任务的平均成功率。对于多指任务，我们显示了单个任务的性能。虽然 Gemini Robotics 2 在全身和基于夹爪的灵巧任务中达到了中等至较高的成功率，但多指灵巧操作仍然具有挑战性。
配备 Sharpa 机械手的 Apollo多指灵巧度条形图
显示了五个任务的准确率百分比及误差条：“拧灯泡”为 36%，“拧下灯泡”为 92%，“系垃圾袋”为 44%，“使用簸箕”为 32%，和“密封拉链袋”为 40%。
Franka Duo夹爪灵巧度条形图
显示了三个任务的准确率百分比及误差条：“通用抓取和放置”为 74.2%，“多样化工具配套”为 78.9%，和“精密插入任务”为 89.6%。
Gemini Robotics ER 2（我们的推理模型）现已在 Google AI Studio 上提供，并在 Gemini Enterprise Agent Platform 上进行私密预览。我们的 VLA 和 On-Device 模型已向早期访问合作伙伴开放。请阅读我们的开发者博客，了解如何将这些模型应用到您的硬件上。
运动中的双足机器人：管理全身任务
这个世界是为人类的运动而建的；它要求我们在狭窄、杂乱的空间中伸手、弯腰和保持平衡。虽然我们之前的模型通过控制双足机器人的上半身来完成桌面任务，但 Gemini Robotics 2 将物理 AI 扩展到了全身运动。
我们的模型现在首次能够控制整个双足机器人，将意图转化为智能的全身控制。例如，在控制 Apptronik 的 Apollo 2 双足机器人时，我们可以要求它“把喷壶放进底层的绿色箱子里”。Apollo 处理指令，走到桌边，拿起喷壶，走几步到架子旁，然后将其精确地放置在目的地。虽然我们的机器人在运动速度方面仍有提升空间，但这是朝着完成需要全身协调的更复杂现实任务所需的技能迈出的重要一步。
为手部和夹爪带来高级灵巧度
为了在家庭和工作中真正有用，机器人需要灵巧的技艺。Gemini Robotics 2 解锁了跨不同末端执行器（无论是机械手还是夹爪）的全新物理灵巧度，使机器人比以往任何时候都更有用。
该模型现在可以控制 Apollo 2 机器人上的五指 22 自由度 SharpaWave 机械手，完成打结或密封拉链袋等精细动作。它还可以操作 Franka Duo 平台上的标准两指平行夹爪，以执行复杂的灵巧任务（例如紧密包装）。我们正在继续提高精度和速度，以达到人类水平的灵巧度。
利用代理推理和多机器人协作解锁高级任务
大多数现实世界的任务需要在较长时间内完成多个步骤。为了管理这种复杂性，我们的具身推理（ER）模型 Gemini Robotics ER 2 充当机器人的“高级大脑”，处理用户指令并与人类交流。它会观察房间，推断完成任务所需的步骤，与 VLA 协调以执行动作，并跟踪进度直到任务完成。这种设置使机器人能够执行复杂的多步骤任务，在某个步骤失败时自我纠正，并推广到新颖的情况和目标。
在此次更新中，我们使机器人能够更可靠地执行更长的任务序列，这些序列持续数分钟，涉及数百个决策。Gemini Robotics ER 2 现在理解任务的开始和结束时间，并能够精确定位关键事件发生的时刻，这标志着在进度理解方面的重大变化。
此外，我们正在引入多机器人协作。这使得不同类型的机器人能够相互交流并协同工作，以解决单一机器人无法独自完成的复杂工作流程。
适应快速的设备端模型，适用于任何机器人
许多机器人应用需要在没有网络延迟或互联网连接的情况下运行。Gemini Robotics On-Device 2 是专门为处理这些限制而构建的——它是我们最高效的视觉-语言-动作模型（VLA），经过优化可在机器人设备上本地运行。
该模型原生支持多实体，并继承了来自 Gemini Robotics 1.5 的高级“运动迁移”技术。我们现在只需几个小时的适应时间（通常少于 200 个示例），就能适应新的双臂机器人实体。即使对于形状、传感器和自由度差异巨大的新实体，这也同样适用，如下面的 Dexmate、SO101 和 Trossen 平台执行多样化任务所示。
推进我们对安全和负责任机器人技术的承诺
安全是我们机器人研究的基础。随着机器人获得更多的物理能力，我们致力于确保端到端的安全性和一致性。在每一次发布中，我们都采取了多层次的方法，将传统的物理安全措施与强大的 AI 安全框架相结合。
Gemini Robotics 2 专门推进了机器人技术在现实世界不确定性导航和与人类协作方面的安全性。
我们正在引入 ASIMOV-Agentic，这是一个用于代理安全编排和不确定性解决的新基准。例如，它衡量具身推理代理拒绝来自 VLA 的不安全工具调用的能力。它还衡量代理预测任务是否可能的能力，以及在不确定时主动请求人类干预的能力。
此外，凭借增强的具身推理能力，Gemini Robotics ER 2 是我们迄今为止最安全的机器人模型，在安全约束遵循和人类邻近基准测试中表现如此。它可以更好地检测附近何时有人，触发安全工具调用，并在有人靠得太近时使机器人安全停止。这是协作安全标准的一项关键要求。详情请阅读我们的《Gemini Robotics 2：安全技术报告》。
构建通用的物理 AI
Gemini Robotics 2 标记着通往解决物理世界 AGI（通用人工智能）道路上的一个重要里程碑。释放机器人的真正潜力需要从单任务自动化转向通用智能。通过构建这种核心智能，我们的目标是实现物理世界中的 AI，使其能够与人类并肩工作，共同解决复杂的挑战。（小晨编译）
参考链接：https://deepmind.google/blog/gemini-robotics-2-brings-whole- -intelligence-to-robots/
