BEAR : Évaluation et Amélioration des Modèles de Langage Multimodaux pour les Capacités Embodied Atomiques

papers.abstract

Les capacités incarnées désignent un ensemble de compétences fondamentales permettant à un agent de percevoir, de comprendre et d'interagir avec le monde physique. Bien que les modèles de langage multimodaux de grande envergure (MLLMs) montrent un potentiel en tant qu'agents incarnés, une évaluation approfondie et systématique de leurs capacités incarnées reste peu explorée, les benchmarks existants se concentrant principalement sur des domaines spécifiques tels que la planification ou la compréhension spatiale. Pour combler cette lacune, nous introduisons BEAR, un benchmark complet et granulaire qui évalue les MLLMs sur des capacités incarnées atomiques. BEAR comprend 4 469 entrées entrelacées d'images, de vidéos et de textes réparties dans 14 domaines et 6 catégories, incluant des tâches allant du pointage de bas niveau, de la compréhension de trajectoires, du raisonnement spatial, jusqu'à la planification de haut niveau. Les résultats d'évaluation approfondis de 20 MLLMs représentatifs révèlent leurs limitations persistantes dans tous les domaines des capacités incarnées. Pour remédier à ces lacunes, nous proposons BEAR-Agent, un agent conversationnel multimodal qui intègre des modèles de vision pré-entraînés pour renforcer la perception, la compréhension 3D et les capacités de planification des MLLMs. Il améliore considérablement les performances des MLLMs sur diverses capacités incarnées dans BEAR, avec un gain absolu de 9,12 % et une amélioration relative de 17,5 % sur GPT-5. De plus, nos expériences indiquent que l'amélioration des capacités incarnées des MLLMs peut bénéficier aux tâches incarnées dans des environnements simulés. Site web du projet : https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/

BEAR : Évaluation et Amélioration des Modèles de Langage Multimodaux pour les Capacités Embodied Atomiques

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

papers.abstract

Support