La Consolidazione della Memoria Abilita la Comprensione di Video con Contesti Lunghi
Memory Consolidation Enables Long-Context Video Understanding
February 8, 2024
Autori: Ivana Balažević, Yuge Shi, Pinelopi Papalampidi, Rahma Chaabouni, Skanda Koppula, Olivier J. Hénaff
cs.AI
Abstract
La maggior parte degli encoder video basati su transformer è limitata a contesti temporali brevi a causa della loro complessità quadratica. Sebbene siano stati fatti vari tentativi per estendere questo contesto, ciò è spesso avvenuto a scapito sia della complessità concettuale che di quella computazionale. Proponiamo invece di riutilizzare i transformer video pre-addestrati esistenti, semplicemente adattandoli per prestare attenzione a memorie derivate in modo non parametrico dalle attivazioni passate. Sfruttando la riduzione della ridondanza, il nostro vision transformer consolidato con memoria (MC-ViT) estende senza sforzo il suo contesto nel passato e mostra un eccellente comportamento di scalabilità quando impara da video più lunghi. In questo modo, MC-ViT stabilisce un nuovo stato dell'arte nella comprensione video a lungo contesto su EgoSchema, Perception Test e Diving48, superando metodi che beneficiano di un numero di parametri di ordini di grandezza superiore.
English
Most transformer-based video encoders are limited to short temporal contexts
due to their quadratic complexity. While various attempts have been made to
extend this context, this has often come at the cost of both conceptual and
computational complexity. We propose to instead re-purpose existing pre-trained
video transformers by simply fine-tuning them to attend to memories derived
non-parametrically from past activations. By leveraging redundancy reduction,
our memory-consolidated vision transformer (MC-ViT) effortlessly extends its
context far into the past and exhibits excellent scaling behavior when learning
from longer videos. In doing so, MC-ViT sets a new state-of-the-art in
long-context video understanding on EgoSchema, Perception Test, and Diving48,
outperforming methods that benefit from orders of magnitude more parameters.