Koala: Modello linguistico per video lunghi condizionato da fotogrammi chiave

Abstract

Il question answering su video lunghi è un compito impegnativo che richiede il riconoscimento di attività a breve termine e il ragionamento sulle loro relazioni dettagliate. I modelli linguistici su video all'avanguardia (vLLM) rappresentano una soluzione promettente grazie alle loro capacità emergenti dimostrate su nuovi task. Tuttavia, nonostante siano stati addestrati su milioni di video della durata di pochi secondi, i vLLM non sono in grado di comprendere video della durata di minuti e di rispondere accuratamente a domande su di essi. Per affrontare questa limitazione, proponiamo un approccio leggero e auto-supervisionato, Key frame-conditioned long video-LLM (Koala), che introduce query spazio-temporali apprendibili per adattare i vLLM pre-addestrati alla generalizzazione su video più lunghi. Il nostro approccio introduce due nuovi tokenizer che si basano su token visivi calcolati da frame chiave sparsi del video per comprendere momenti brevi e lunghi dei video. Addestriamo il nostro approccio su HowTo100M e ne dimostriamo l'efficacia su benchmark di comprensione zero-shot di video lunghi, dove supera i modelli di grandi dimensioni all'avanguardia del 3-6% in termini di accuratezza assoluta su tutti i task. Sorprendentemente, mostriamo empiricamente che il nostro approccio non solo aiuta un vLLM pre-addestrato a comprendere video lunghi, ma migliora anche la sua accuratezza nel riconoscimento di azioni a breve termine.

English

Long video question answering is a challenging task that involves recognizing short-term activities and reasoning about their fine-grained relationships. State-of-the-art video Large Language Models (vLLMs) hold promise as a viable solution due to their demonstrated emergent capabilities on new tasks. However, despite being trained on millions of short seconds-long videos, vLLMs are unable to understand minutes-long videos and accurately answer questions about them. To address this limitation, we propose a lightweight and self-supervised approach, Key frame-conditioned long video-LLM (Koala), that introduces learnable spatiotemporal queries to adapt pretrained vLLMs for generalizing to longer videos. Our approach introduces two new tokenizers that condition on visual tokens computed from sparse video key frames for understanding short and long video moments. We train our proposed approach on HowTo100M and demonstrate its effectiveness on zero-shot long video understanding benchmarks, where it outperforms state-of-the-art large models by 3 - 6% in absolute accuracy across all tasks. Surprisingly, we also empirically show that our approach not only helps a pretrained vLLM to understand long videos but also improves its accuracy on short-term action recognition.

Koala: Modello linguistico per video lunghi condizionato da fotogrammi chiave

Koala: Key frame-conditioned long video-LLM

Abstract

Support