SuperMemory-VQA: een egocentrische visuele vraag-antwoord benchmark voor langetermijngeheugen

Samenvatting

AI-brillen bieden een veelbelovend platform voor AI-agenten om als gepersonaliseerde geheugenassistenten te fungeren. Om werkelijk nuttig te zijn, moeten dergelijke systemen verder gaan dan kortetermijnvideobegrip en moeten ze geheugenlacunes aanpakken die mensen ervaren voor praktische, persoonlijke of sociale doeleinden in longitudinale egocentrische videostreams. Bestaande egocentrische datasets richten zich echter voornamelijk op actieherkenning of algemene vragen en antwoorden uit korte clips, waarmee perceptuele vermogens worden gemeten in plaats van realistische menselijke geheugenbehoeften. We introduceren SuperMemory-VQA, een egocentrische visuele vraag-en-antwoorddataset (VQA) voor het evalueren van AI-assistenten op praktische, langetermijngeheugentaken. Het bevat 52,9 uur aan dagelijkse activiteiten opgenomen met AI-brillen, inclusief gesynchroniseerde RGB-video, audiotranscriptie, oogbewegingen, IMU en SLAM-trajecten. Via een door mensen geverifieerde annotatiepijplijn construeren we 4.853 gefundeerde vraag-antwoordparen die object- en locatiegeheugen, intentieherinnering, visuele scèneherinnering, tijdlijnreconstructie, conversatiegeheugen en contextuele retrievel bestrijken. Elke vraag wordt gesteld als meerkeuze met een expliciete "niet te beantwoorden"-optie om robuustheid tegen hallucinaties te testen. Benchmarking van toonaangevende agentische frameworks en LLM-backbones toont aan dat bestaande systemen verre van betrouwbaar zijn bij realistische geheugentaken, wat de noodzaak benadrukt van nieuwe architecturen voor gefundeerd AI-geheugen die alleen antwoorden wanneer er voldoende bewijs is. Een deelnemersonderzoek bevestigt verder dat onze vragen realistisch, nuttig en afgestemd zijn op dagelijkse geheugenbehoeften.

English

AI glasses present a compelling platform for AI agents to serve as personalized memory assistants. To be genuinely useful, such systems must move beyond short-term video comprehension and address memory gaps that humans experience for practical, personal, or social purposes over longitudinal egocentric video streams. However, existing egocentric datasets predominantly focus on action recognition or generic QAs from short clips, measuring perceptual capabilities rather than realistic human memory needs. We introduce SuperMemory-VQA, an egocentric visual question answering (VQA) dataset for evaluating AI assistants on practical, long-horizon memory tasks. It contains 52.9 hours of everyday activities recorded with AI glasses, including synchronized RGB video, audio transcription, eye gaze, IMU, and SLAM trajectories. Through a human-verified annotation pipeline, we construct grounded 4,853 question-answer pairs that span object and location memory, intent recall, visual scene recall, timeline reconstruction, conversational memory, and in-context retrieval. Each question is posed as multiple-choice with an explicit "unanswerable" option to test hallucination robustness. Benchmarking leading agentic frameworks and LLM backbones reveals that existing systems remain far from reliable on real-world memory tasks, highlighting the need for new architectures for grounded AI memory that can answer only when evidence is sufficient. A participant survey further supports that our questions are realistic, useful, and aligned with everyday memory needs.