OceanGym: 수중 구현 에이전트를 위한 벤치마크 환경

OceanGym: A Benchmark Environment for Underwater Embodied Agents

September 30, 2025

저자: Yida Xue, Mingjun Mao, Xiangyuan Ru, Yuqi Zhu, Baochang Ren, Shuofei Qiao, Mengru Wang, Shumin Deng, Xinyu An, Ningyu Zhang, Ying Chen, Huajun Chen

cs.AI

초록

우리는 가장 까다로운 실세계 환경 중 하나인 해양 수중에서의 인공지능 발전을 위해 설계된, 최초의 포괄적인 해양 수중 구현 에이전트 벤치마크인 OceanGym을 소개합니다. 육상이나 항공 도메인과 달리, 수중 환경은 낮은 가시성과 역동적인 해류를 포함한 극단적인 인지 및 의사결정 과제를 제시하며, 이로 인해 효과적인 에이전트 배치가 특히 어렵습니다. OceanGym은 8개의 현실적인 작업 도메인과 다중 모드 대형 언어 모델(MLLM)에 기반한 통합 에이전트 프레임워크를 포함하며, 이는 인지, 메모리, 순차적 의사결정을 통합합니다. 에이전트는 광학 및 소나 데이터를 이해하고, 복잡한 환경을 자율적으로 탐색하며, 이러한 가혹한 조건 하에서 장기적인 목표를 달성해야 합니다. 광범위한 실험을 통해 최신 MLLM 기반 에이전트와 인간 전문가 간의 상당한 격차가 드러났으며, 이는 해양 수중 환경에서의 인지, 계획, 적응력의 지속적인 어려움을 강조합니다. 고해상도로 엄격하게 설계된 플랫폼을 제공함으로써, OceanGym은 강력한 구현 AI를 개발하고 이러한 역량을 실세계 자율 해양 수중 차량으로 전이하기 위한 테스트베드를 구축하며, 지구상 마지막 미개척 영역에서 작동할 수 있는 지능형 에이전트를 향한 결정적인 한 걸음을 내딛습니다. 코드와 데이터는 https://github.com/OceanGPT/OceanGym에서 확인할 수 있습니다.

English

We introduce OceanGym, the first comprehensive benchmark for ocean underwater embodied agents, designed to advance AI in one of the most demanding real-world environments. Unlike terrestrial or aerial domains, underwater settings present extreme perceptual and decision-making challenges, including low visibility, dynamic ocean currents, making effective agent deployment exceptionally difficult. OceanGym encompasses eight realistic task domains and a unified agent framework driven by Multi-modal Large Language Models (MLLMs), which integrates perception, memory, and sequential decision-making. Agents are required to comprehend optical and sonar data, autonomously explore complex environments, and accomplish long-horizon objectives under these harsh conditions. Extensive experiments reveal substantial gaps between state-of-the-art MLLM-driven agents and human experts, highlighting the persistent difficulty of perception, planning, and adaptability in ocean underwater environments. By providing a high-fidelity, rigorously designed platform, OceanGym establishes a testbed for developing robust embodied AI and transferring these capabilities to real-world autonomous ocean underwater vehicles, marking a decisive step toward intelligent agents capable of operating in one of Earth's last unexplored frontiers. The code and data are available at https://github.com/OceanGPT/OceanGym.