MS4UI: Un conjunto de datos para la síntesis multimodal de videos instructivos de interfaces de usuario
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Autores: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Resumen
Estudiamos la resumen multimodal para videos instructivos, cuyo objetivo es proporcionar a los usuarios una forma eficiente de aprender habilidades mediante instrucciones textuales y fotogramas clave del video. Observamos que los benchmarks existentes se centran en la resumen de videos a nivel semántico genérico y no son adecuados para ofrecer instrucciones ejecutables paso a paso e ilustraciones, ambos elementos cruciales para los videos instructivos. Proponemos un nuevo benchmark para la resumen de videos instructivos de interfaces de usuario (UI) con el fin de llenar este vacío. Recopilamos un conjunto de datos de 2,413 videos instructivos de UI, que abarcan más de 167 horas. Estos videos están anotados manualmente para la segmentación de video, resumen textual y resumen de video, lo que permite evaluaciones exhaustivas para una resumen de video concisa y ejecutable. Realizamos experimentos extensivos en nuestro conjunto de datos MS4UI recopilado, los cuales sugieren que los métodos de resumen multimodal más avanzados tienen dificultades en la resumen de videos de UI y destacan la importancia de nuevos métodos para la resumen de videos instructivos de UI.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.