编译/VR陀螺

当地时间8月19日，Meta在开发者博客中正式介绍了此前发布的VR开发工具Meta XR Operator。该工具首个公开版本于7月28日推出，并已作为Meta XR SDK v205中的实验组件开放。通过连接支持MCP协议的AI Agent，Meta XR Operator让AI具备观察、交互和验证VR应用的能力，帮助开发者完成“编写代码—运行测试—发现问题—修复验证”的自动化开发流程。

据了解，当前AI编程工具已经能够帮助开发者读取代码、生成代码、运行测试并修复错误，但在VR开发场景中，AI仍面临“无法看到应用、无法操作空间交互、无法确认修改是否有效”的限制。Meta XR Operator希望通过赋予AI视觉和交互能力，填补这一环节。

从技术架构来看，Meta XR Operator位于应用程序与OpenXR运行时之间，通过拦截现有运行时调用，将XR状态和输入控制能力通过MCP协议开放给AI Agent。该工具无需开发者修改应用代码，AI即可获取运行中的VR应用信息。

借助Meta XR Operator，AI Agent可以获得多项能力，包括：

• 视觉识别：获取Meta XR Simulator中运行应用的截图，观察类似真实头显中的显示效果；
• 空间感知：读取房间几何信息，包括墙壁、地面和家具等空间数据；
• 控制器操作：模拟按钮点击、摇杆移动、扳机操作以及指向交互；
• 头部移动模拟：调整头部位置和方向，观察特定区域或对象；
• 场景检查：读取Unity场景层级、组件信息，并对比代码与实际效果；
• UI交互：自动点击按钮、完成菜单操作以及多步骤流程测试。

Meta表示，Meta XR Operator能够支持三类主要工作流程。首先，在快速迭代场景中，开发者可以用自然语言描述需求，由AI完成代码编写、构建、启动VR模拟环境、截图验证并持续优化。其次，在调试过程中，AI可以复现问题、分析场景和代码、修复错误，并通过新的截图确认修复效果。第三，该工具还能支持自然语言测试自动化，例如验证游戏按钮、菜单流程以及交互逻辑。

在早期测试中，Meta表示其已与Beat Games等团队合作验证Meta XR Operator能力。在一项测试中，AI Agent能够自主开发VR井字棋游戏，通过虚拟控制器完成操作，并识别Unity脚本重新导入导致的显示问题。此外，在测试《Beat Saber》菜单流程时，AI还发现了传统脚本测试可能遗漏的UI重叠问题。

目前，Meta XR Operator仍处于实验阶段，并存在一定限制。例如，AI目前无法理解手指级手势交互，也无法获取音频信息；同时，由于主要依赖截图进行判断，对于动画效果、实时移动目标以及细微视觉差异的识别能力仍有限。

开发者可通过Unity Editor 6000.0.66f2 LTS及以上版本、Meta XR SDK v205、Meta XR Simulator以及支持MCP协议的AI编程助手（如Claude Code、Cursor、Codex、Gemini CLI等）进行体验。

来源：Meta