编译/VR陀螺

当地时间10月13日，Google正式向开发者及企业开放Gemini 4 Argon模型，并公布其在空间重建、物理环境理解及机器人控制等领域的技术演示。其中，Real2Sim（现实到仿真）能力成为此次展示的重点之一，模型能够基于真实机器人摄像头视频、第一人称人类操作视频及手绘草图，构建具有物理属性的3D仿真环境。

据Google Developers Blog介绍，Gemini 4 Argon能够通过视觉推理识别现实场景中的物体、空间关系及运动状态，并结合MuJoCo物理引擎重建相应的仿真环境。与单纯生成三维视觉模型不同，该技术还涉及物体几何形状、碰撞结构、质量、摩擦力及接触关系等物理属性的建模，使重建场景能够用于机器人动作训练与物理交互验证。

在机器人视角重建方面，Google展示了利用真实机器人遥操作视频生成数字孪生场景的流程。模型通过分析机器人摄像头记录的画面，重建任务物体及其空间位置，并通过迭代调整，使仿真环境中的视觉效果与物体接触行为尽可能接近真实记录。

第一人称视频重建是另一项值得关注的能力。 在Google公布的案例中，Gemini 4 Argon结合人类第一视角操作视频、摄像机参数及手部三维关键点等信息，识别操作对象并重建其三维结构，同时将人类手部动作映射至MuJoCo中的双臂人形机器人，使其能够在虚拟环境中模拟抓取、移动和放置物体等操作。

此外，Gemini 4 Argon还支持将手绘草图转换为物理仿真场景。Google展示了模型根据纸面草图构建机器人投掷物体的场景，并通过MuJoCo进行动作规划及物理验证的过程，进一步拓展了空间环境生成的输入形式。

在机器人训练方面，Google还展示了利用真实场景照片构建仿真环境，并生成超过4500段训练数据的案例。在该特定实验中，相关训练使真实机器人任务成功率由56%提升至75%，平均任务完成时间由35秒缩短至24秒。

Google表示，Gemini 4 Argon在具身推理基准测试ERQA中取得87%的成绩，展现了其在三维空间理解及物理推理方面的能力。

来源： GoogleDevelopersBlog