BEAR: Evaluación y Mejora de Modelos de Lenguaje Multimodales para Capacidades Embebidas Atómicas

Resumen

Las capacidades encarnadas se refieren a un conjunto de habilidades fundamentales para que un agente pueda percibir, comprender e interactuar con el mundo físico. Si bien los modelos de lenguaje multimodal de gran escala (MLLMs) muestran potencial como agentes encarnados, una evaluación exhaustiva y sistemática de sus capacidades encarnadas sigue siendo poco explorada, ya que los puntos de referencia existentes se centran principalmente en dominios específicos como la planificación o la comprensión espacial. Para cerrar esta brecha, presentamos BEAR, un punto de referencia integral y detallado que evalúa los MLLMs en capacidades encarnadas atómicas. BEAR comprende 4,469 entradas intercaladas de imagen-video-texto en 14 dominios y 6 categorías, incluyendo tareas desde el señalamiento de bajo nivel, la comprensión de trayectorias, el razonamiento espacial, hasta la planificación de alto nivel. Los resultados de la evaluación extensiva de 20 MLLMs representativos revelan sus limitaciones persistentes en todos los dominios de capacidades encarnadas. Para abordar esta deficiencia, proponemos BEAR-Agent, un agente conversable multimodal que integra modelos de visión preentrenados para fortalecer la percepción, la comprensión 3D y las capacidades de planificación de los MLLMs. Esto mejora sustancialmente el rendimiento de los MLLMs en diversas capacidades encarnadas en BEAR, obteniendo una ganancia absoluta del 9.12% y una mejora relativa del 17.5% en GPT-5. Además, nuestros experimentos indican que mejorar las capacidades encarnadas de los MLLMs puede beneficiar las tareas encarnadas en entornos simulados. Sitio web del proyecto: https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/

BEAR: Evaluación y Mejora de Modelos de Lenguaje Multimodales para Capacidades Embebidas Atómicas

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

Resumen

Support