ViSMaP: Resumen de videos de una hora sin supervisión mediante meta-prompting

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

April 22, 2025

Autores: Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

cs.AI

Resumen

Presentamos ViSMap: Resumen de Video No Supervisado mediante Meta Prompting, un sistema para resumir videos de una hora de duración sin supervisión. La mayoría de los modelos existentes de comprensión de video funcionan bien en videos cortos de eventos pre-segmentados, pero tienen dificultades para resumir videos más largos donde los eventos relevantes están distribuidos de manera dispersa y no están pre-segmentados. Además, la comprensión de videos de larga duración suele depender de entrenamiento jerárquico supervisado que requiere anotaciones extensas, las cuales son costosas, lentas y propensas a inconsistencias. Con ViSMaP, cerramos la brecha entre los videos cortos (donde los datos anotados son abundantes) y los largos (donde no lo son). Nos basamos en LLMs para crear pseudo-resúmenes optimizados de videos largos utilizando descripciones de segmentos de videos cortos. Estos pseudo-resúmenes se utilizan como datos de entrenamiento para un modelo que genera resúmenes de videos de larga duración, evitando la necesidad de anotaciones costosas en videos largos. Específicamente, adoptamos una estrategia de meta-prompting para generar y refinar iterativamente pseudo-resúmenes de videos largos. La estrategia aprovecha descripciones de clips cortos obtenidas de un modelo supervisado de video corto para guiar el resumen. Cada iteración utiliza tres LLMs que trabajan en secuencia: uno para generar el pseudo-resumen a partir de las descripciones de los clips, otro para evaluarlo y un tercero para optimizar el prompt del generador. Esta iteración es necesaria porque la calidad de los pseudo-resúmenes depende en gran medida del prompt del generador y varía ampliamente entre los videos. Evaluamos nuestros resúmenes extensamente en múltiples conjuntos de datos; nuestros resultados muestran que ViSMaP logra un rendimiento comparable a los modelos supervisados de última generación, mientras generaliza entre dominios sin sacrificar el rendimiento. El código se publicará junto con la publicación.

English

We introduce ViSMap: Unsupervised Video Summarisation by Meta Prompting, a system to summarise hour long videos with no-supervision. Most existing video understanding models work well on short videos of pre-segmented events, yet they struggle to summarise longer videos where relevant events are sparsely distributed and not pre-segmented. Moreover, long-form video understanding often relies on supervised hierarchical training that needs extensive annotations which are costly, slow and prone to inconsistency. With ViSMaP we bridge the gap between short videos (where annotated data is plentiful) and long ones (where it's not). We rely on LLMs to create optimised pseudo-summaries of long videos using segment descriptions from short ones. These pseudo-summaries are used as training data for a model that generates long-form video summaries, bypassing the need for expensive annotations of long videos. Specifically, we adopt a meta-prompting strategy to iteratively generate and refine creating pseudo-summaries of long videos. The strategy leverages short clip descriptions obtained from a supervised short video model to guide the summary. Each iteration uses three LLMs working in sequence: one to generate the pseudo-summary from clip descriptions, another to evaluate it, and a third to optimise the prompt of the generator. This iteration is necessary because the quality of the pseudo-summaries is highly dependent on the generator prompt, and varies widely among videos. We evaluate our summaries extensively on multiple datasets; our results show that ViSMaP achieves performance comparable to fully supervised state-of-the-art models while generalising across domains without sacrificing performance. Code will be released upon publication.