OmniEAR: Evaluación del Razonamiento de Agentes en Tareas Embebidas

Resumen

Los modelos de lenguaje a gran escala sobresalen en razonamiento abstracto, pero su capacidad para el razonamiento de agentes corporizados sigue siendo en gran medida inexplorada. Presentamos OmniEAR, un marco integral para evaluar cómo los modelos de lenguaje razonan sobre interacciones físicas, uso de herramientas y coordinación multiagente en tareas corporizadas. A diferencia de los puntos de referencia existentes que proporcionan conjuntos de herramientas predefinidos o directivas de colaboración explícitas, OmniEAR requiere que los agentes adquieran capacidades de manera dinámica y determinen estrategias de coordinación de forma autónoma según las demandas de la tarea. A través de la representación basada en texto del entorno, modelamos propiedades físicas continuas y relaciones espaciales complejas en 1,500 escenarios que abarcan dominios domésticos e industriales. Nuestra evaluación sistemática revela una severa degradación del rendimiento cuando los modelos deben razonar a partir de restricciones: mientras logran un 85-96% de éxito con instrucciones explícitas, el rendimiento cae al 56-85% para el razonamiento sobre herramientas y al 63-85% para la colaboración implícita, con tareas compuestas que muestran tasas de fallo superiores al 50%. Sorprendentemente, la información ambiental completa degrada el rendimiento de la coordinación, lo que indica que los modelos no pueden filtrar las restricciones relevantes para la tarea. El ajuste fino mejora drásticamente las tareas de un solo agente (del 0.6% al 76.3%) pero produce ganancias mínimas en multiagente (del 1.5% al 5.5%), exponiendo limitaciones arquitectónicas fundamentales. Estos hallazgos demuestran que el razonamiento corporizado plantea desafíos fundamentalmente diferentes a los que los modelos actuales pueden abordar, estableciendo a OmniEAR como un punto de referencia riguroso para evaluar y avanzar en los sistemas de IA corporizada. Nuestro código y datos están incluidos en los materiales complementarios y se publicarán como código abierto tras la aceptación.

English

Large language models excel at abstract reasoning but their capacity for embodied agent reasoning remains largely unexplored. We present OmniEAR, a comprehensive framework for evaluating how language models reason about physical interactions, tool usage, and multi-agent coordination in embodied tasks. Unlike existing benchmarks that provide predefined tool sets or explicit collaboration directives, OmniEAR requires agents to dynamically acquire capabilities and autonomously determine coordination strategies based on task demands. Through text-based environment representation, we model continuous physical properties and complex spatial relationships across 1,500 scenarios spanning household and industrial domains. Our systematic evaluation reveals severe performance degradation when models must reason from constraints: while achieving 85-96% success with explicit instructions, performance drops to 56-85% for tool reasoning and 63-85% for implicit collaboration, with compound tasks showing over 50% failure rates. Surprisingly, complete environmental information degrades coordination performance, indicating models cannot filter task-relevant constraints. Fine-tuning improves single-agent tasks dramatically (0.6% to 76.3%) but yields minimal multi-agent gains (1.5% to 5.5%), exposing fundamental architectural limitations. These findings demonstrate that embodied reasoning poses fundamentally different challenges than current models can address, establishing OmniEAR as a rigorous benchmark for evaluating and advancing embodied AI systems. Our code and data are included in the supplementary materials and will be open-sourced upon acceptance.

OmniEAR: Evaluación del Razonamiento de Agentes en Tareas Embebidas

OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks

Resumen

Support