OmniEAR: Benchmarking der Agentenlogik in verkörperten Aufgaben

papers.abstract

Große Sprachmodelle zeichnen sich durch abstraktes Denken aus, doch ihre Fähigkeit zur verkörperten Agentenlogik bleibt weitgehend unerforscht. Wir stellen OmniEAR vor, ein umfassendes Framework zur Bewertung, wie Sprachmodelle physische Interaktionen, Werkzeugnutzung und Multi-Agenten-Koordination in verkörperten Aufgaben verarbeiten. Im Gegensatz zu bestehenden Benchmarks, die vordefinierte Werkzeugsätze oder explizite Kooperationsanweisungen bereitstellen, erfordert OmniEAR, dass Agenten Fähigkeiten dynamisch erwerben und Koordinationsstrategien autonom auf Basis der Aufgabenanforderungen bestimmen. Durch textbasierte Umgebungsdarstellung modellieren wir kontinuierliche physikalische Eigenschaften und komplexe räumliche Beziehungen in 1.500 Szenarien aus Haushalts- und Industriebereichen. Unsere systematische Auswertung zeigt eine erhebliche Leistungsverschlechterung, wenn Modelle aus Einschränkungen schlussfolgern müssen: Während sie bei expliziten Anweisungen 85-96 % Erfolg erzielen, sinkt die Leistung auf 56-85 % bei der Werkzeuglogik und 63-85 % bei impliziter Zusammenarbeit, wobei zusammengesetzte Aufgaben über 50 % Fehlerraten aufweisen. Überraschenderweise verschlechtert vollständige Umgebungsinformation die Koordinationsleistung, was darauf hindeutet, dass Modelle aufgabenrelevante Einschränkungen nicht filtern können. Feinabstimmung verbessert Einzelagentenaufgaben dramatisch (0,6 % auf 76,3 %), bringt jedoch nur minimale Multi-Agenten-Fortschritte (1,5 % auf 5,5 %), was grundlegende architektonische Grenzen offenbart. Diese Erkenntnisse zeigen, dass verkörperte Logik grundlegend andere Herausforderungen stellt, als aktuelle Modelle bewältigen können, und etablieren OmniEAR als rigorosen Benchmark zur Bewertung und Weiterentwicklung verkörperter KI-Systeme. Unser Code und unsere Daten sind in den ergänzenden Materialien enthalten und werden nach Annahme open-source veröffentlicht.

English

Large language models excel at abstract reasoning but their capacity for embodied agent reasoning remains largely unexplored. We present OmniEAR, a comprehensive framework for evaluating how language models reason about physical interactions, tool usage, and multi-agent coordination in embodied tasks. Unlike existing benchmarks that provide predefined tool sets or explicit collaboration directives, OmniEAR requires agents to dynamically acquire capabilities and autonomously determine coordination strategies based on task demands. Through text-based environment representation, we model continuous physical properties and complex spatial relationships across 1,500 scenarios spanning household and industrial domains. Our systematic evaluation reveals severe performance degradation when models must reason from constraints: while achieving 85-96% success with explicit instructions, performance drops to 56-85% for tool reasoning and 63-85% for implicit collaboration, with compound tasks showing over 50% failure rates. Surprisingly, complete environmental information degrades coordination performance, indicating models cannot filter task-relevant constraints. Fine-tuning improves single-agent tasks dramatically (0.6% to 76.3%) but yields minimal multi-agent gains (1.5% to 5.5%), exposing fundamental architectural limitations. These findings demonstrate that embodied reasoning poses fundamentally different challenges than current models can address, establishing OmniEAR as a rigorous benchmark for evaluating and advancing embodied AI systems. Our code and data are included in the supplementary materials and will be open-sourced upon acceptance.

OmniEAR: Benchmarking der Agentenlogik in verkörperten Aufgaben

OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks

papers.abstract

Support