EOC-Bench: ¿Pueden los MLLMs identificar, recordar y predecir objetos en un mundo egocéntrico?

EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World?

June 5, 2025

Autores: Yuqian Yuan, Ronghao Dang, Long Li, Wentong Li, Dian Jiao, Xin Li, Deli Zhao, Fan Wang, Wenqiao Zhang, Jun Xiao, Yueting Zhuang

cs.AI

Resumen

El surgimiento de los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) ha impulsado avances significativos en aplicaciones de visión egocéntrica. Estas aplicaciones requieren una comprensión persistente y consciente del contexto de los objetos, ya que los usuarios interactúan con herramientas en entornos dinámicos y desordenados. Sin embargo, los puntos de referencia existentes en sistemas encarnados se centran principalmente en la exploración de escenas estáticas, enfatizando la apariencia y los atributos espaciales de los objetos, mientras descuidan la evaluación de los cambios dinámicos resultantes de las interacciones de los usuarios. Para abordar esta brecha, presentamos EOC-Bench, un punto de referencia innovador diseñado para evaluar sistemáticamente la cognición encarnada centrada en objetos en escenarios egocéntricos dinámicos. Específicamente, EOC-Bench incluye 3,277 pares de preguntas y respuestas meticulosamente anotados, categorizados en tres categorías temporales: Pasado, Presente y Futuro, abarcando 11 dimensiones de evaluación detalladas y 3 tipos de referenciación visual de objetos. Para garantizar una evaluación exhaustiva, desarrollamos un marco de anotación con participación humana en el bucle, que incluye cuatro tipos de preguntas, y diseñamos una nueva métrica de precisión temporal multiescala para la evaluación temporal de respuestas abiertas. Basándonos en EOC-Bench, llevamos a cabo evaluaciones exhaustivas de varios MLLMs propietarios, de código abierto y a nivel de objeto. EOC-Bench se erige como una herramienta crucial para avanzar en las capacidades cognitivas encarnadas de los MLLMs, estableciendo una base sólida para el desarrollo de modelos centrales confiables para sistemas encarnados.

English

The emergence of multimodal large language models (MLLMs) has driven breakthroughs in egocentric vision applications. These applications necessitate persistent, context-aware understanding of objects, as users interact with tools in dynamic and cluttered environments. However, existing embodied benchmarks primarily focus on static scene exploration, emphasizing object's appearance and spatial attributes while neglecting the assessment of dynamic changes arising from users' interactions. To address this gap, we introduce EOC-Bench, an innovative benchmark designed to systematically evaluate object-centric embodied cognition in dynamic egocentric scenarios. Specially, EOC-Bench features 3,277 meticulously annotated QA pairs categorized into three temporal categories: Past, Present, and Future, covering 11 fine-grained evaluation dimensions and 3 visual object referencing types. To ensure thorough assessment, we develop a mixed-format human-in-the-loop annotation framework with four types of questions and design a novel multi-scale temporal accuracy metric for open-ended temporal evaluation. Based on EOC-Bench, we conduct comprehensive evaluations of various proprietary, open-source, and object-level MLLMs. EOC-Bench serves as a crucial tool for advancing the embodied object cognitive capabilities of MLLMs, establishing a robust foundation for developing reliable core models for embodied systems.