BEAR: Avaliação e Aprimoramento de Modelos de Linguagem Multimodais para Capacidades Atômicas de Embodiment

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

October 9, 2025

Autores: Yu Qi, Haibo Zhao, Ziyu Guo, Siyuan Ma, Ziyan Chen, Yaokun Han, Renrui Zhang, Zitiantao Lin, Shiji Xin, Yijian Huang, Kai Cheng, Peiheng Wang, Jiazheng Liu, Jiayi Zhang, Yizhe Zhu, Wenqing Wang, Yiran Qin, Xupeng Zhu, Haojie Huang, Lawson L. S. Wong

cs.AI

Resumo

Capacidades corporificadas referem-se a um conjunto de habilidades fundamentais para que um agente perceba, compreenda e interaja com o mundo físico. Embora os modelos de linguagem multimodal de grande escala (MLLMs) mostrem potencial como agentes corporificados, uma avaliação completa e sistemática de suas capacidades corporificadas ainda é pouco explorada, já que os benchmarks existentes focam principalmente em domínios específicos, como planejamento ou compreensão espacial. Para preencher essa lacuna, introduzimos o BEAR, um benchmark abrangente e detalhado que avalia MLLMs em capacidades corporificadas atômicas. O BEAR compreende 4.469 entradas intercaladas de imagem-vídeo-texto em 14 domínios e 6 categorias, incluindo tarefas desde apontamento de baixo nível, compreensão de trajetória, raciocínio espacial, até planejamento de alto nível. Resultados extensivos da avaliação de 20 MLLMs representativos revelam suas limitações persistentes em todos os domínios de capacidades corporificadas. Para enfrentar essa deficiência, propomos o BEAR-Agent, um agente conversável multimodal que integra modelos de visão pré-treinados para fortalecer a percepção, compreensão 3D e capacidades de planejamento dos MLLMs. Ele melhora substancialmente o desempenho dos MLLMs em diversas capacidades corporificadas no BEAR, resultando em um ganho absoluto de 9,12% e uma melhoria relativa de 17,5% no GPT-5. Além disso, nossos experimentos indicam que melhorar as capacidades corporificadas dos MLLMs pode beneficiar tarefas corporificadas em ambientes simulados. Site do projeto: https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/