MemoBench : Benchmarking de la modélisation du monde dans des environnements changeant dynamiquement

Résumé

Les modèles de génération vidéo aspirent à simuler des environnements dynamiques, et plusieurs benchmarks évaluent désormais la cohérence de la mémoire entre les trames. Cependant, la plupart n'évaluent la cohérence que lorsque la cible reste visible, et les rares qui forcent les objets à sortir du champ de vision évaluent des scènes statiques où rien ne change pendant l'occlusion. Pour combler cette lacune, nous introduisons MemoBench, un benchmark diagnostique construit autour du paradigme de disparition-réapparition dans des environnements dynamiques : un objet cible subit un processus physique, disparaît de la vue, et doit être correctement retrouvé dans son état actualisé lors de sa réapparition. Nous élaborons 360 séquences de vérité terrain couvrant des scènes synthétiques et réelles, et concevons une suite d'évaluation combinant des métriques automatiques avec une évaluation basée sur des questions-réponses visuelles (VQA) à travers quatre piliers diagnostiques. L'évaluation de huit modèles de pointe révèle des perspectives clés et des défis ouverts concernant la cohérence de la mémoire sous le paradigme de disparition-réapparition.

English

Video generation models aspire to simulate dynamic environments, and several benchmarks now evaluate memory consistency across frames. However, most assess consistency only while the target remains in view, and the few that force objects out of view evaluate static scenes where nothing changes during occlusion. To bridge this gap, we introduce MemoBench, a diagnostic benchmark built around the disappear-and-reappear paradigm in dynamically changing environments: a target object undergoes a physical process, disappears from view, and must be correctly recovered in its updated state upon reappearance. We curate 360 ground-truth clips spanning synthetic and real-world scenes, and design an evaluation suite combining automated metrics with VQA-based assessment across four diagnostic pillars. Evaluation of eight state-of-the-art models reveals key insights and open challenges regarding memory consistency under the disappear-and-reappear paradigm.