BEAR: Benchmarking und Verbesserung multimodaler Sprachmodelle für atomare verkörperte Fähigkeiten

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

October 9, 2025

papers.authors: Yu Qi, Haibo Zhao, Ziyu Guo, Siyuan Ma, Ziyan Chen, Yaokun Han, Renrui Zhang, Zitiantao Lin, Shiji Xin, Yijian Huang, Kai Cheng, Peiheng Wang, Jiazheng Liu, Jiayi Zhang, Yizhe Zhu, Wenqing Wang, Yiran Qin, Xupeng Zhu, Haojie Huang, Lawson L. S. Wong

cs.AI

papers.abstract

Verankerte Fähigkeiten beziehen sich auf eine Reihe grundlegender Fertigkeiten, die es einem Agenten ermöglichen, die physische Welt wahrzunehmen, zu verstehen und mit ihr zu interagieren. Während multimodale große Sprachmodelle (MLLMs) vielversprechende Ansätze als verankerte Agenten zeigen, bleibt eine umfassende und systematische Bewertung ihrer verankerten Fähigkeiten weitgehend unerforscht, da bestehende Benchmarks sich hauptsächlich auf spezifische Domänen wie Planung oder räumliches Verständnis konzentrieren. Um diese Lücke zu schließen, führen wir BEAR ein, einen umfassenden und feingranularen Benchmark, der MLLMs auf atomare verankerte Fähigkeiten evaluiert. BEAR umfasst 4.469 verschränkte Bild-Video-Text-Einträge über 14 Domänen in 6 Kategorien, darunter Aufgaben von grundlegenden Zeigeaktionen, Trajektorienverständnis, räumlichem Denken bis hin zu hochgradiger Planung. Umfangreiche Evaluationsergebnisse von 20 repräsentativen MLLMs offenbaren deren anhaltende Einschränkungen in allen Bereichen der verankerten Fähigkeiten. Um diese Defizite zu adressieren, schlagen wir BEAR-Agent vor, einen multimodalen konversationsfähigen Agenten, der vortrainierte Vision-Modelle integriert, um die Wahrnehmung, das 3D-Verständnis und die Planungsfähigkeiten von MLLMs zu stärken. Dies verbessert die Leistung von MLLMs erheblich über diverse verankerte Fähigkeiten auf BEAR hinweg, was einen absoluten Gewinn von 9,12 % und eine relative Verbesserung von 17,5 % bei GPT-5 ergibt. Darüber hinaus zeigen unsere Experimente, dass die Verbesserung der verankerten Fähigkeiten von MLLMs auch verankerte Aufgaben in simulierten Umgebungen begünstigen kann. Projektwebsite: https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/