WikiVideo: Generación de Artículos a partir de Múltiples Videos

WikiVideo: Article Generation from Multiple Videos

April 1, 2025

Autores: Alexander Martin, Reno Kriz, William Gantt Walden, Kate Sanders, Hannah Recknor, Eugene Yang, Francis Ferraro, Benjamin Van Durme

cs.AI

Resumen

Presentamos el desafío de crear automáticamente un artículo de estilo Wikipedia de alto nivel que agrega información proveniente de múltiples videos diversos sobre eventos del mundo real, como desastres naturales o elecciones políticas. Los videos son fuentes intuitivas para la generación aumentada por recuperación (RAG, por sus siglas en inglés), pero la mayoría de los flujos de trabajo contemporáneos de RAG se centran principalmente en texto, y los métodos existentes para la resumen basado en video se enfocan en la comprensión de escenas de bajo nivel en lugar de la semántica de eventos de alto nivel. Para cerrar esta brecha, introducimos WikiVideo, un punto de referencia que consiste en artículos escritos por expertos y videos densamente anotados que proporcionan evidencia para las afirmaciones de los artículos, facilitando la integración de video en las canalizaciones de RAG y permitiendo la creación de contenido detallado basado en fuentes multimodales. Además, proponemos la Generación Colaborativa de Artículos (CAG, por sus siglas en inglés), un método interactivo novedoso para la creación de artículos a partir de múltiples videos. CAG aprovecha una interacción iterativa entre un modelo de razonamiento estilo r1 y un VideoLLM para obtener inferencias de mayor nivel sobre el evento objetivo de lo que es posible con VideoLLMs por sí solos, los cuales se enfocan en características visuales de bajo nivel. Evaluamos los VideoLLMs más avanzados y CAG en entornos de recuperación oráculo y RAG, y encontramos que CAG supera consistentemente a los métodos alternativos, al tiempo que sugiere interesantes vías para trabajos futuros.

English

We present the challenging task of automatically creating a high-level Wikipedia-style article that aggregates information from multiple diverse videos about real-world events, such as natural disasters or political elections. Videos are intuitive sources for retrieval-augmented generation (RAG), but most contemporary RAG workflows focus heavily on text and existing methods for video-based summarization focus on low-level scene understanding rather than high-level event semantics. To close this gap, we introduce WikiVideo, a benchmark consisting of expert-written articles and densely annotated videos that provide evidence for articles' claims, facilitating the integration of video into RAG pipelines and enabling the creation of in-depth content that is grounded in multimodal sources. We further propose Collaborative Article Generation (CAG), a novel interactive method for article creation from multiple videos. CAG leverages an iterative interaction between an r1-style reasoning model and a VideoLLM to draw higher level inferences about the target event than is possible with VideoLLMs alone, which fixate on low-level visual features. We benchmark state-of-the-art VideoLLMs and CAG in both oracle retrieval and RAG settings and find that CAG consistently outperforms alternative methods, while suggesting intriguing avenues for future work.