OceanGym: 水中エンボディエージェントのためのベンチマーク環境

OceanGym: A Benchmark Environment for Underwater Embodied Agents

September 30, 2025

著者: Yida Xue, Mingjun Mao, Xiangyuan Ru, Yuqi Zhu, Baochang Ren, Shuofei Qiao, Mengru Wang, Shumin Deng, Xinyu An, Ningyu Zhang, Ying Chen, Huajun Chen

cs.AI

要旨

我々はOceanGymを紹介する。これは海洋水中におけるエンボディードエージェントのための初の包括的なベンチマークであり、最も過酷な現実環境の一つにおけるAIの進化を目指して設計された。地上や空中の領域とは異なり、水中環境は低視程や動的な海流など、極端な知覚と意思決定の課題を提示し、効果的なエージェントの展開を特に困難にしている。OceanGymは8つの現実的なタスク領域と、マルチモーダル大規模言語モデル（MLLM）によって駆動される統一エージェントフレームワークを包含しており、知覚、記憶、逐次的意思決定を統合している。エージェントは光学およびソナーデータを理解し、複雑な環境を自律的に探索し、これらの過酷な条件下で長期的な目標を達成する必要がある。広範な実験により、最先端のMLLM駆動エージェントと人間の専門家との間に大きなギャップがあることが明らかになり、海洋水中環境における知覚、計画、適応性の持続的な困難が浮き彫りになった。高忠実度で厳密に設計されたプラットフォームを提供することにより、OceanGymは堅牢なエンボディードAIを開発し、これらの能力を現実世界の自律海洋水中車両に転送するためのテストベッドを確立し、地球最後の未開拓のフロンティアの一つで動作可能なインテリジェントエージェントに向けた決定的な一歩を記した。コードとデータはhttps://github.com/OceanGPT/OceanGymで利用可能である。

English

We introduce OceanGym, the first comprehensive benchmark for ocean underwater embodied agents, designed to advance AI in one of the most demanding real-world environments. Unlike terrestrial or aerial domains, underwater settings present extreme perceptual and decision-making challenges, including low visibility, dynamic ocean currents, making effective agent deployment exceptionally difficult. OceanGym encompasses eight realistic task domains and a unified agent framework driven by Multi-modal Large Language Models (MLLMs), which integrates perception, memory, and sequential decision-making. Agents are required to comprehend optical and sonar data, autonomously explore complex environments, and accomplish long-horizon objectives under these harsh conditions. Extensive experiments reveal substantial gaps between state-of-the-art MLLM-driven agents and human experts, highlighting the persistent difficulty of perception, planning, and adaptability in ocean underwater environments. By providing a high-fidelity, rigorously designed platform, OceanGym establishes a testbed for developing robust embodied AI and transferring these capabilities to real-world autonomous ocean underwater vehicles, marking a decisive step toward intelligent agents capable of operating in one of Earth's last unexplored frontiers. The code and data are available at https://github.com/OceanGPT/OceanGym.