Koala: Sleutelframe-geconditioneerd lange video-LLM

Samenvatting

Langdurige video-vraagbeantwoording is een uitdagende taak die het herkennen van kortetermijnactiviteiten en het redeneren over hun fijnmazige relaties omvat. State-of-the-art video Large Language Models (vLLMs) lijken een veelbelovende oplossing te bieden vanwege hun aangetoonde opkomende capaciteiten bij nieuwe taken. Ondanks dat ze getraind zijn op miljoenen korte, secondenlange video's, zijn vLLMs echter niet in staat om minutenlange video's te begrijpen en nauwkeurig vragen daarover te beantwoorden. Om deze beperking aan te pakken, stellen we een lichtgewicht en zelfgestuurde aanpak voor, genaamd Key frame-conditioned long video-LLM (Koala), die leerbare spatiotemporele queries introduceert om voorgetrainde vLLMs aan te passen voor generalisatie naar langere video's. Onze aanpak introduceert twee nieuwe tokenizers die zich baseren op visuele tokens berekend uit schaarse video-keyframes voor het begrijpen van korte en lange videomomenten. We trainen onze voorgestelde aanpak op HowTo100M en demonstreren de effectiviteit ervan op zero-shot langdurige video-begrip benchmarks, waar het state-of-the-art grote modellen overtreft met 3 - 6% in absolute nauwkeurigheid over alle taken. Verrassend genoeg tonen we ook empirisch aan dat onze aanpak niet alleen een voorgetrainde vLLM helpt om langere video's te begrijpen, maar ook de nauwkeurigheid ervan verbetert bij kortetermijnactieherkenning.

English

Long video question answering is a challenging task that involves recognizing short-term activities and reasoning about their fine-grained relationships. State-of-the-art video Large Language Models (vLLMs) hold promise as a viable solution due to their demonstrated emergent capabilities on new tasks. However, despite being trained on millions of short seconds-long videos, vLLMs are unable to understand minutes-long videos and accurately answer questions about them. To address this limitation, we propose a lightweight and self-supervised approach, Key frame-conditioned long video-LLM (Koala), that introduces learnable spatiotemporal queries to adapt pretrained vLLMs for generalizing to longer videos. Our approach introduces two new tokenizers that condition on visual tokens computed from sparse video key frames for understanding short and long video moments. We train our proposed approach on HowTo100M and demonstrate its effectiveness on zero-shot long video understanding benchmarks, where it outperforms state-of-the-art large models by 3 - 6% in absolute accuracy across all tasks. Surprisingly, we also empirically show that our approach not only helps a pretrained vLLM to understand long videos but also improves its accuracy on short-term action recognition.

Koala: Sleutelframe-geconditioneerd lange video-LLM

Koala: Key frame-conditioned long video-LLM

Samenvatting

Support