EOC-Bench: Können MLLMs Objekte in einer egozentrischen Welt identifizieren, sich daran erinnern und vorhersagen?

EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World?

June 5, 2025

Autoren: Yuqian Yuan, Ronghao Dang, Long Li, Wentong Li, Dian Jiao, Xin Li, Deli Zhao, Fan Wang, Wenqiao Zhang, Jun Xiao, Yueting Zhuang

cs.AI

Zusammenfassung

Das Aufkommen multimodaler großer Sprachmodelle (MLLMs) hat Durchbrüche in egozentrischen Vision-Anwendungen vorangetrieben. Diese Anwendungen erfordern ein beständiges, kontextbewusstes Verständnis von Objekten, da Benutzer mit Werkzeugen in dynamischen und unübersichtlichen Umgebungen interagieren. Bisherige Benchmarks für verkörperte Systeme konzentrieren sich jedoch hauptsächlich auf die statische Erkundung von Szenen, betonen das Erscheinungsbild und die räumlichen Attribute von Objekten und vernachlässigen die Bewertung dynamischer Veränderungen, die sich aus den Interaktionen der Benutzer ergeben. Um diese Lücke zu schließen, führen wir EOC-Bench ein, einen innovativen Benchmark, der entwickelt wurde, um die objektzentrierte verkörperte Kognition in dynamischen egozentrischen Szenarien systematisch zu bewerten. Insbesondere umfasst EOC-Bench 3.277 sorgfältig annotierte Frage-Antwort-Paare, die in drei zeitliche Kategorien unterteilt sind: Vergangenheit, Gegenwart und Zukunft, und deckt 11 fein abgestufte Bewertungsdimensionen sowie drei Arten der visuellen Objektreferenzierung ab. Um eine umfassende Bewertung zu gewährleisten, entwickeln wir ein gemischtes Annotation-Framework mit menschlicher Beteiligung, das vier Fragetypen umfasst, und entwerfen eine neuartige mehrstufige zeitliche Genauigkeitsmetrik für die offene zeitliche Bewertung. Basierend auf EOC-Bench führen wir umfassende Bewertungen verschiedener proprietärer, Open-Source- und objektbezogener MLLMs durch. EOC-Bench dient als entscheidendes Werkzeug zur Weiterentwicklung der verkörperten Objektkognitionsfähigkeiten von MLLMs und schafft eine robuste Grundlage für die Entwicklung zuverlässiger Kernmodelle für verkörperte Systeme.

English

The emergence of multimodal large language models (MLLMs) has driven breakthroughs in egocentric vision applications. These applications necessitate persistent, context-aware understanding of objects, as users interact with tools in dynamic and cluttered environments. However, existing embodied benchmarks primarily focus on static scene exploration, emphasizing object's appearance and spatial attributes while neglecting the assessment of dynamic changes arising from users' interactions. To address this gap, we introduce EOC-Bench, an innovative benchmark designed to systematically evaluate object-centric embodied cognition in dynamic egocentric scenarios. Specially, EOC-Bench features 3,277 meticulously annotated QA pairs categorized into three temporal categories: Past, Present, and Future, covering 11 fine-grained evaluation dimensions and 3 visual object referencing types. To ensure thorough assessment, we develop a mixed-format human-in-the-loop annotation framework with four types of questions and design a novel multi-scale temporal accuracy metric for open-ended temporal evaluation. Based on EOC-Bench, we conduct comprehensive evaluations of various proprietary, open-source, and object-level MLLMs. EOC-Bench serves as a crucial tool for advancing the embodied object cognitive capabilities of MLLMs, establishing a robust foundation for developing reliable core models for embodied systems.