ViSMaP: Riassunto Video Non Supervisionato di Ore di Durata tramite Meta-Prompting

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

April 22, 2025

Autori: Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

cs.AI

Abstract

Presentiamo ViSMap: Unsupervised Video Summarisation by Meta Prompting, un sistema per riassumere video della durata di un'ora senza supervisione. La maggior parte dei modelli esistenti per la comprensione video funziona bene su video brevi di eventi pre-segmentati, ma fatica a riassumere video più lunghi in cui gli eventi rilevanti sono distribuiti in modo sparso e non pre-segmentati. Inoltre, la comprensione di video di lunga durata spesso si basa su un addestramento gerarchico supervisionato che richiede annotazioni estese, costose, lente e soggette a incoerenze. Con ViSMaP colmiamo il divario tra i video brevi (dove i dati annotati sono abbondanti) e quelli lunghi (dove non lo sono). Ci affidiamo ai LLM per creare pseudo-riassunti ottimizzati di video lunghi utilizzando descrizioni di segmenti provenienti da video brevi. Questi pseudo-riassunti vengono utilizzati come dati di addestramento per un modello che genera riassunti di video di lunga durata, bypassando la necessità di costose annotazioni per video lunghi. Nello specifico, adottiamo una strategia di meta-prompting per generare e perfezionare iterativamente pseudo-riassunti di video lunghi. La strategia sfrutta descrizioni di clip brevi ottenute da un modello supervisionato per video brevi per guidare il riassunto. Ogni iterazione utilizza tre LLM che lavorano in sequenza: uno per generare il pseudo-riassunto dalle descrizioni delle clip, un altro per valutarlo e un terzo per ottimizzare il prompt del generatore. Questa iterazione è necessaria perché la qualità dei pseudo-riassunti dipende fortemente dal prompt del generatore e varia ampiamente tra i video. Valutiamo i nostri riassunti in modo estensivo su più dataset; i nostri risultati mostrano che ViSMaP raggiunge prestazioni comparabili a modelli all'avanguardia completamente supervisionati, generalizzando tra domini senza sacrificare le prestazioni. Il codice verrà rilasciato alla pubblicazione.

English

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it's not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.