EOC-Bench: Kunnen MLLM's objecten in een egocentrische wereld identificeren, herinneren en voorspellen?

EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World?

June 5, 2025

Auteurs: Yuqian Yuan, Ronghao Dang, Long Li, Wentong Li, Dian Jiao, Xin Li, Deli Zhao, Fan Wang, Wenqiao Zhang, Jun Xiao, Yueting Zhuang

cs.AI

Samenvatting

De opkomst van multimodale grote taalmodellen (MLLMs) heeft doorbraken teweeggebracht in egocentrische visietoepassingen. Deze toepassingen vereisen een voortdurend, contextbewust begrip van objecten, aangezien gebruikers interactie hebben met gereedschappen in dynamische en rommelige omgevingen. Bestaande benchmarks voor belichaamde systemen richten zich echter voornamelijk op statische scèneverkenning, waarbij de nadruk ligt op het uiterlijk en de ruimtelijke eigenschappen van objecten, terwijl de beoordeling van dynamische veranderingen als gevolg van gebruikersinteracties wordt verwaarloosd. Om deze kloof te overbruggen, introduceren we EOC-Bench, een innovatieve benchmark die is ontworpen om objectgerichte belichaamde cognitie systematisch te evalueren in dynamische egocentrische scenario's. Specifiek bevat EOC-Bench 3.277 zorgvuldig geannoteerde vraag-antwoordparen, gecategoriseerd in drie temporele categorieën: Verleden, Heden en Toekomst, die 11 fijnmazige evaluatiedimensies en 3 visuele objectreferentietypen beslaan. Om een grondige beoordeling te waarborgen, ontwikkelen we een gemengd annotatiekader met menselijke betrokkenheid met vier soorten vragen en ontwerpen we een nieuwe multi-schaal temporele nauwkeurigheidsmetriek voor open-einde temporele evaluatie. Op basis van EOC-Bench voeren we uitgebreide evaluaties uit van verschillende propriëtaire, open-source en objectniveau MLLMs. EOC-Bench fungeert als een cruciaal instrument voor het bevorderen van de belichaamde objectcognitieve capaciteiten van MLLMs en legt een stevige basis voor het ontwikkelen van betrouwbare kernmodellen voor belichaamde systemen.

English

The emergence of multimodal large language models (MLLMs) has driven breakthroughs in egocentric vision applications. These applications necessitate persistent, context-aware understanding of objects, as users interact with tools in dynamic and cluttered environments. However, existing embodied benchmarks primarily focus on static scene exploration, emphasizing object's appearance and spatial attributes while neglecting the assessment of dynamic changes arising from users' interactions. To address this gap, we introduce EOC-Bench, an innovative benchmark designed to systematically evaluate object-centric embodied cognition in dynamic egocentric scenarios. Specially, EOC-Bench features 3,277 meticulously annotated QA pairs categorized into three temporal categories: Past, Present, and Future, covering 11 fine-grained evaluation dimensions and 3 visual object referencing types. To ensure thorough assessment, we develop a mixed-format human-in-the-loop annotation framework with four types of questions and design a novel multi-scale temporal accuracy metric for open-ended temporal evaluation. Based on EOC-Bench, we conduct comprehensive evaluations of various proprietary, open-source, and object-level MLLMs. EOC-Bench serves as a crucial tool for advancing the embodied object cognitive capabilities of MLLMs, establishing a robust foundation for developing reliable core models for embodied systems.