La Consolidación de la Memoria Permite la Comprensión de Videos con Contexto Extendido
Memory Consolidation Enables Long-Context Video Understanding
February 8, 2024
Autores: Ivana Balažević, Yuge Shi, Pinelopi Papalampidi, Rahma Chaabouni, Skanda Koppula, Olivier J. Hénaff
cs.AI
Resumen
La mayoría de los codificadores de video basados en transformadores están limitados a contextos temporales cortos debido a su complejidad cuadrática. Aunque se han realizado varios intentos para extender este contexto, esto a menudo ha implicado un aumento tanto en la complejidad conceptual como computacional. En su lugar, proponemos reutilizar transformadores de video preentrenados existentes, simplemente ajustándolos para que atiendan a memorias derivadas de forma no paramétrica a partir de activaciones pasadas. Al aprovechar la reducción de redundancia, nuestro transformador de visión consolidado con memoria (MC-ViT) extiende su contexto hacia el pasado de manera eficiente y muestra un excelente comportamiento de escalabilidad al aprender de videos más largos. Al hacerlo, MC-ViT establece un nuevo estado del arte en la comprensión de videos de contexto largo en EgoSchema, Perception Test y Diving48, superando a métodos que se benefician de órdenes de magnitud más parámetros.
English
Most transformer-based video encoders are limited to short temporal contexts
due to their quadratic complexity. While various attempts have been made to
extend this context, this has often come at the cost of both conceptual and
computational complexity. We propose to instead re-purpose existing pre-trained
video transformers by simply fine-tuning them to attend to memories derived
non-parametrically from past activations. By leveraging redundancy reduction,
our memory-consolidated vision transformer (MC-ViT) effortlessly extends its
context far into the past and exhibits excellent scaling behavior when learning
from longer videos. In doing so, MC-ViT sets a new state-of-the-art in
long-context video understanding on EgoSchema, Perception Test, and Diving48,
outperforming methods that benefit from orders of magnitude more parameters.