BEAR: Benchmarken en Verbeteren van Multimodale Taalmodellen voor Atomair Belichaamde Vaardigheden

Samenvatting

Belichaamde capaciteiten verwijzen naar een reeks fundamentele vaardigheden die een agent nodig heeft om waar te nemen, te begrijpen en te interageren met de fysieke wereld. Hoewel multimodale grote taalmodellen (MLLMs) veelbelovend zijn als belichaamde agents, blijft een grondige en systematische evaluatie van hun belichaamde capaciteiten onderbelicht, aangezien bestaande benchmarks zich voornamelijk richten op specifieke domeinen zoals planning of ruimtelijk begrip. Om deze kloof te overbruggen, introduceren we BEAR, een uitgebreide en gedetailleerde benchmark die MLLMs evalueert op atomische belichaamde capaciteiten. BEAR bestaat uit 4.469 verweven beeld-video-tekst items verspreid over 14 domeinen in 6 categorieën, waaronder taken variërend van laag niveau, zoals aanwijzen en trajectbegrip, tot hoog niveau, zoals ruimtelijk redeneren en planning. Uitgebreide evaluatieresultaten van 20 representatieve MLLMs onthullen hun aanhoudende beperkingen in alle domeinen van belichaamde capaciteiten. Om deze tekortkoming aan te pakken, stellen we BEAR-Agent voor, een multimodaal gespreksagent die voorgetrainde vision-modellen integreert om de waarneming, 3D-begrip en planningscapaciteiten van MLLMs te versterken. Het verbetert de prestaties van MLLMs aanzienlijk op diverse belichaamde capaciteiten in BEAR, met een absolute winst van 9,12% en een relatieve verbetering van 17,5% op GPT-5. Bovendien tonen onze experimenten aan dat het verbeteren van de belichaamde capaciteiten van MLLMs voordelen kan bieden voor belichaamde taken in gesimuleerde omgevingen. Projectwebsite: https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/

BEAR: Benchmarken en Verbeteren van Multimodale Taalmodellen voor Atomair Belichaamde Vaardigheden

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

Samenvatting

Support