A Consolidação da Memória Possibilita a Compreensão de Vídeos com Contexto Longo

Memory Consolidation Enables Long-Context Video Understanding

February 8, 2024

Autores: Ivana Balažević, Yuge Shi, Pinelopi Papalampidi, Rahma Chaabouni, Skanda Koppula, Olivier J. Hénaff

cs.AI

Resumo

A maioria dos codificadores de vídeo baseados em transformers são limitados a contextos temporais curtos devido à sua complexidade quadrática. Embora várias tentativas tenham sido feitas para estender esse contexto, isso frequentemente ocorreu às custas de complexidade tanto conceitual quanto computacional. Propomos, em vez disso, reutilizar transformers de vídeo pré-treinados existentes, simplesmente ajustando-os para ativar memórias derivadas de forma não paramétrica a partir de ativações passadas. Ao aproveitar a redução de redundância, nosso vision transformer consolidado por memória (MC-ViT) estende seu contexto facilmente para o passado e exibe um excelente comportamento de escalonamento ao aprender com vídeos mais longos. Ao fazer isso, o MC-ViT estabelece um novo estado da arte em compreensão de vídeo de longo contexto no EgoSchema, Perception Test e Diving48, superando métodos que se beneficiam de ordens de magnitude mais parâmetros.

English

Most transformer-based video encoders are limited to short temporal contexts due to their quadratic complexity. While various attempts have been made to extend this context, this has often come at the cost of both conceptual and computational complexity. We propose to instead re-purpose existing pre-trained video transformers by simply fine-tuning them to attend to memories derived non-parametrically from past activations. By leveraging redundancy reduction, our memory-consolidated vision transformer (MC-ViT) effortlessly extends its context far into the past and exhibits excellent scaling behavior when learning from longer videos. In doing so, MC-ViT sets a new state-of-the-art in long-context video understanding on EgoSchema, Perception Test, and Diving48, outperforming methods that benefit from orders of magnitude more parameters.