Geheugenconsolidatie maakt langetermijncontextuele videobegrip mogelijk.

Memory Consolidation Enables Long-Context Video Understanding

February 8, 2024

Auteurs: Ivana Balažević, Yuge Shi, Pinelopi Papalampidi, Rahma Chaabouni, Skanda Koppula, Olivier J. Hénaff

cs.AI

Samenvatting

De meeste transformer-gebaseerde video-encoders zijn beperkt tot korte temporele contexten vanwege hun kwadratische complexiteit. Hoewel diverse pogingen zijn gedaan om deze context uit te breiden, ging dit vaak ten koste van zowel conceptuele als computationale complexiteit. Wij stellen voor om in plaats daarvan bestaande vooraf getrainde video-transformers te hergebruiken door ze eenvoudigweg te fine-tunen om aandacht te besteden aan geheugens die niet-parametrisch zijn afgeleid van eerdere activaties. Door gebruik te maken van redundantiereductie breidt onze geheugen-geconsolideerde vision transformer (MC-ViT) moeiteloos zijn context ver terug in de tijd uit en vertoont hij uitstekende schaalbaarheid bij het leren van langere video's. Hiermee vestigt MC-ViT een nieuwe state-of-the-art in langetermijn-videobegrip op EgoSchema, Perception Test en Diving48, en overtreft hij methoden die profiteren van ordes van grootte meer parameters.

English

Most transformer-based video encoders are limited to short temporal contexts due to their quadratic complexity. While various attempts have been made to extend this context, this has often come at the cost of both conceptual and computational complexity. We propose to instead re-purpose existing pre-trained video transformers by simply fine-tuning them to attend to memories derived non-parametrically from past activations. By leveraging redundancy reduction, our memory-consolidated vision transformer (MC-ViT) effortlessly extends its context far into the past and exhibits excellent scaling behavior when learning from longer videos. In doing so, MC-ViT sets a new state-of-the-art in long-context video understanding on EgoSchema, Perception Test, and Diving48, outperforming methods that benefit from orders of magnitude more parameters.