EOC-Bench: Способны ли MLLM распознавать, запоминать и прогнозировать объекты в эгоцентричном мире?

EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World?

June 5, 2025

Авторы: Yuqian Yuan, Ronghao Dang, Long Li, Wentong Li, Dian Jiao, Xin Li, Deli Zhao, Fan Wang, Wenqiao Zhang, Jun Xiao, Yueting Zhuang

cs.AI

Аннотация

Появление мультимодальных больших языковых моделей (MLLMs) стимулировало прорывы в приложениях эгоцентрического зрения. Эти приложения требуют устойчивого, контекстно-зависимого понимания объектов, поскольку пользователи взаимодействуют с инструментами в динамичных и загроможденных средах. Однако существующие бенчмарки для воплощенных систем в основном сосредоточены на статическом исследовании сцен, акцентируя внимание на внешнем виде и пространственных атрибутах объектов, но упуская из виду оценку динамических изменений, возникающих в результате взаимодействия пользователей. Чтобы устранить этот пробел, мы представляем EOC-Bench — инновационный бенчмарк, разработанный для систематической оценки объектно-ориентированной воплощенной когниции в динамичных эгоцентрических сценариях. В частности, EOC-Bench включает 3 277 тщательно аннотированных пар вопросов и ответов, классифицированных по трем временным категориям: Прошлое, Настоящее и Будущее, охватывая 11 детализированных оценочных измерений и 3 типа визуального объектного референции. Для обеспечения всесторонней оценки мы разработали смешанный формат аннотирования с участием человека, включающий четыре типа вопросов, и предложили новую метрику точности на основе многоуровневого временного анализа для открытой временной оценки. На основе EOC-Bench мы провели комплексные оценки различных проприетарных, открытых и объектно-ориентированных MLLMs. EOC-Bench служит важным инструментом для развития воплощенных объектных когнитивных способностей MLLMs, закладывая прочную основу для разработки надежных базовых моделей для воплощенных систем.

English

The emergence of multimodal large language models (MLLMs) has driven breakthroughs in egocentric vision applications. These applications necessitate persistent, context-aware understanding of objects, as users interact with tools in dynamic and cluttered environments. However, existing embodied benchmarks primarily focus on static scene exploration, emphasizing object's appearance and spatial attributes while neglecting the assessment of dynamic changes arising from users' interactions. To address this gap, we introduce EOC-Bench, an innovative benchmark designed to systematically evaluate object-centric embodied cognition in dynamic egocentric scenarios. Specially, EOC-Bench features 3,277 meticulously annotated QA pairs categorized into three temporal categories: Past, Present, and Future, covering 11 fine-grained evaluation dimensions and 3 visual object referencing types. To ensure thorough assessment, we develop a mixed-format human-in-the-loop annotation framework with four types of questions and design a novel multi-scale temporal accuracy metric for open-ended temporal evaluation. Based on EOC-Bench, we conduct comprehensive evaluations of various proprietary, open-source, and object-level MLLMs. EOC-Bench serves as a crucial tool for advancing the embodied object cognitive capabilities of MLLMs, establishing a robust foundation for developing reliable core models for embodied systems.