ViSMaP: Sumarização Não Supervisionada de Vídeos Longos por Meta-Prompting

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

April 22, 2025

Autores: Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

cs.AI

Resumo

Apresentamos o ViSMap: Resumo de Vídeo Não Supervisionado por Meta Prompting, um sistema para resumir vídeos de longa duração sem supervisão. A maioria dos modelos existentes de compreensão de vídeo funciona bem em vídeos curtos de eventos pré-segmentados, mas eles têm dificuldade em resumir vídeos mais longos, onde os eventos relevantes estão esparsamente distribuídos e não são pré-segmentados. Além disso, a compreensão de vídeos de longa duração frequentemente depende de treinamento hierárquico supervisionado que requer anotações extensas, que são custosas, lentas e propensas a inconsistências. Com o ViSMaP, preenchemos a lacuna entre vídeos curtos (onde os dados anotados são abundantes) e vídeos longos (onde não são). Utilizamos LLMs (Modelos de Linguagem de Grande Escala) para criar pseudo-resumos otimizados de vídeos longos usando descrições de segmentos de vídeos curtos. Esses pseudo-resumos são usados como dados de treinamento para um modelo que gera resumos de vídeos de longa duração, eliminando a necessidade de anotações caras para vídeos longos. Especificamente, adotamos uma estratégia de meta-prompting para gerar e refinar iterativamente pseudo-resumos de vídeos longos. A estratégia aproveita descrições de clipes curtos obtidas de um modelo supervisionado de vídeo curto para guiar o resumo. Cada iteração utiliza três LLMs trabalhando em sequência: um para gerar o pseudo-resumo a partir das descrições dos clipes, outro para avaliá-lo e um terceiro para otimizar o prompt do gerador. Essa iteração é necessária porque a qualidade dos pseudo-resumos é altamente dependente do prompt do gerador e varia amplamente entre os vídeos. Avaliamos nossos resumos extensivamente em múltiplos conjuntos de dados; nossos resultados mostram que o ViSMaP alcança desempenho comparável aos modelos state-of-the-art totalmente supervisionados, enquanto generaliza entre domínios sem sacrificar o desempenho. O código será liberado após a publicação.

English

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it's not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.