Koala: Modelo de Linguagem para Vídeos Longos Condicionado por Quadros-Chave

Resumo

A resposta a perguntas em vídeos longos é uma tarefa desafiadora que envolve o reconhecimento de atividades de curto prazo e o raciocínio sobre suas relações detalhadas. Os modelos de linguagem de grande escala para vídeos (vLLMs) de última geração mostram-se promissores como uma solução viável devido às suas capacidades emergentes demonstradas em novas tarefas. No entanto, apesar de serem treinados em milhões de vídeos curtos de alguns segundos, os vLLMs não conseguem compreender vídeos de vários minutos e responder com precisão a perguntas sobre eles. Para superar essa limitação, propomos uma abordagem leve e auto-supervisionada, chamada Key frame-conditioned long video-LLM (Koala), que introduz consultas espaço-temporais aprendíveis para adaptar vLLMs pré-treinados à generalização para vídeos mais longos. Nossa abordagem introduz dois novos tokenizadores que se baseiam em tokens visuais calculados a partir de quadros-chave esparsos do vídeo para compreender momentos curtos e longos do vídeo. Treinamos nossa proposta no conjunto de dados HowTo100M e demonstramos sua eficácia em benchmarks de compreensão de vídeos longos em zero-shot, onde ela supera os modelos grandes de última geração em 3 a 6% em precisão absoluta em todas as tarefas. Surpreendentemente, também mostramos empiricamente que nossa abordagem não apenas ajuda um vLLM pré-treinado a entender vídeos longos, mas também melhora sua precisão no reconhecimento de ações de curto prazo.

English

Long video question answering is a challenging task that involves recognizing short-term activities and reasoning about their fine-grained relationships. State-of-the-art video Large Language Models (vLLMs) hold promise as a viable solution due to their demonstrated emergent capabilities on new tasks. However, despite being trained on millions of short seconds-long videos, vLLMs are unable to understand minutes-long videos and accurately answer questions about them. To address this limitation, we propose a lightweight and self-supervised approach, Key frame-conditioned long video-LLM (Koala), that introduces learnable spatiotemporal queries to adapt pretrained vLLMs for generalizing to longer videos. Our approach introduces two new tokenizers that condition on visual tokens computed from sparse video key frames for understanding short and long video moments. We train our proposed approach on HowTo100M and demonstrate its effectiveness on zero-shot long video understanding benchmarks, where it outperforms state-of-the-art large models by 3 - 6% in absolute accuracy across all tasks. Surprisingly, we also empirically show that our approach not only helps a pretrained vLLM to understand long videos but also improves its accuracy on short-term action recognition.

Koala: Modelo de Linguagem para Vídeos Longos Condicionado por Quadros-Chave

Koala: Key frame-conditioned long video-LLM

Resumo

Support