OmniEAR: Benchmarking van Agent Redeneren in Belichaamde Taken

Samenvatting

Grote taalmodellen blinken uit in abstract redeneren, maar hun vermogen voor embodied agent reasoning blijft grotendeels onontgonnen. Wij presenteren OmniEAR, een uitgebreid raamwerk voor het evalueren van hoe taalmodellen redeneren over fysieke interacties, gereedschapsgebruik en multi-agentcoördinatie in embodied taken. In tegenstelling tot bestaande benchmarks die vooraf gedefinieerde gereedschapssets of expliciete samenwerkingsrichtlijnen bieden, vereist OmniEAR dat agenten dynamisch capaciteiten verwerven en autonoom coördinatiestrategieën bepalen op basis van taakeisen. Door middel van tekstgebaseerde omgevingsrepresentatie modelleren we continue fysieke eigenschappen en complexe ruimtelijke relaties in 1.500 scenario’s die huishoudelijke en industriële domeinen omvatten. Onze systematische evaluatie onthult een aanzienlijke prestatievermindering wanneer modellen moeten redeneren vanuit beperkingen: terwijl ze een succespercentage van 85-96% behalen met expliciete instructies, daalt de prestatie tot 56-85% voor gereedschapsredenering en 63-85% voor impliciete samenwerking, waarbij samengestelde taken een foutpercentage van meer dan 50% laten zien. Verrassend genoeg verslechtert volledige omgevingsinformatie de coördinatieprestaties, wat aangeeft dat modellen niet in staat zijn taakrelevante beperkingen te filteren. Fine-tuning verbetert taken voor één agent aanzienlijk (0,6% tot 76,3%), maar levert minimale verbeteringen op voor multi-agent taken (1,5% tot 5,5%), wat fundamentele architectuurbeperkingen blootlegt. Deze bevindingen tonen aan dat embodied reasoning fundamenteel andere uitdagingen met zich meebrengt dan huidige modellen kunnen aanpakken, en vestigen OmniEAR als een rigoureuze benchmark voor het evalueren en verbeteren van embodied AI-systemen. Onze code en gegevens zijn opgenomen in de aanvullende materialen en zullen worden openbaar gemaakt na acceptatie.

English

Large language models excel at abstract reasoning but their capacity for embodied agent reasoning remains largely unexplored. We present OmniEAR, a comprehensive framework for evaluating how language models reason about physical interactions, tool usage, and multi-agent coordination in embodied tasks. Unlike existing benchmarks that provide predefined tool sets or explicit collaboration directives, OmniEAR requires agents to dynamically acquire capabilities and autonomously determine coordination strategies based on task demands. Through text-based environment representation, we model continuous physical properties and complex spatial relationships across 1,500 scenarios spanning household and industrial domains. Our systematic evaluation reveals severe performance degradation when models must reason from constraints: while achieving 85-96% success with explicit instructions, performance drops to 56-85% for tool reasoning and 63-85% for implicit collaboration, with compound tasks showing over 50% failure rates. Surprisingly, complete environmental information degrades coordination performance, indicating models cannot filter task-relevant constraints. Fine-tuning improves single-agent tasks dramatically (0.6% to 76.3%) but yields minimal multi-agent gains (1.5% to 5.5%), exposing fundamental architectural limitations. These findings demonstrate that embodied reasoning poses fundamentally different challenges than current models can address, establishing OmniEAR as a rigorous benchmark for evaluating and advancing embodied AI systems. Our code and data are included in the supplementary materials and will be open-sourced upon acceptance.

OmniEAR: Benchmarking van Agent Redeneren in Belichaamde Taken

OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks

Samenvatting

Support