BEAR: Benchmarking e Potenziamento dei Modelli Linguistici Multimodali per Capacità Embodied Atomiche

Abstract

Le capacità incarnate si riferiscono a un insieme di abilità fondamentali che consentono a un agente di percepire, comprendere e interagire con il mondo fisico. Sebbene i modelli linguistici multimodali di grandi dimensioni (MLLM) mostrino potenziale come agenti incarnati, una valutazione approfondita e sistematica delle loro capacità incarnate rimane poco esplorata, poiché i benchmark esistenti si concentrano principalmente su domini specifici come la pianificazione o la comprensione spaziale. Per colmare questa lacuna, introduciamo BEAR, un benchmark completo e granulare che valuta gli MLLM sulle capacità incarnate atomiche. BEAR comprende 4.469 voci intercalate di immagini-video-testo in 14 domini e 6 categorie, che includono compiti che vanno dal puntamento di basso livello, alla comprensione delle traiettorie, al ragionamento spaziale, fino alla pianificazione di alto livello. I risultati di valutazione estensiva di 20 MLLM rappresentativi rivelano le loro persistenti limitazioni in tutti i domini delle capacità incarnate. Per affrontare questa carenza, proponiamo BEAR-Agent, un agente conversazionale multimodale che integra modelli visivi pre-addestrati per rafforzare la percezione, la comprensione 3D e le capacità di pianificazione degli MLLM. Esso migliora sostanzialmente le prestazioni degli MLLM su diverse capacità incarnate in BEAR, ottenendo un guadagno assoluto del 9,12% e un miglioramento relativo del 17,5% su GPT-5. Inoltre, i nostri esperimenti indicano che il miglioramento delle capacità incarnate degli MLLM può beneficiare i compiti incarnati in ambienti simulati. Sito web del progetto: https://bear-official66.github.io/

English

Embodied capabilities refer to a suite of fundamental abilities for an agent to perceive, comprehend, and interact with the physical world. While multimodal large language models (MLLMs) show promise as embodied agents, a thorough and systematic evaluation of their embodied capabilities remains underexplored, as existing benchmarks primarily focus on specific domains such as planning or spatial understanding. To bridge this gap, we introduce BEAR, a comprehensive and fine-grained benchmark that evaluates MLLMs on atomic embodied capabilities. BEAR comprises 4,469 interleaved image-video-text entries across 14 domains in 6 categories, including tasks from low-level pointing, trajectory understanding, spatial reasoning, to high-level planning. Extensive evaluation results of 20 representative MLLMs reveal their persistent limitations across all domains of embodied capabilities. To tackle the shortfall, we propose BEAR-Agent, a multimodal conversable agent that integrates pretrained vision models to strengthen MLLM perception, 3D understanding, and planning capabilities. It substantially enhances MLLM performance across diverse embodied capabilities on BEAR, yielding a 9.12% absolute gain and a relative improvement of 17.5% on GPT-5. Furthermore, our experiments indicate that improving MLLM embodied capabilities can benefit embodied tasks in simulated environments. Project website: https://bear-official66.github.io/

BEAR: Benchmarking e Potenziamento dei Modelli Linguistici Multimodali per Capacità Embodied Atomiche

BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities

Abstract

Support