MS4UI: Um Conjunto de Dados para Sumarização Multimodal de Vídeos Instrucionais de Interface do Usuário
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Autores: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Resumo
Estudamos a sumarização multimodal para vídeos instrucionais, cujo objetivo é fornecer aos usuários uma maneira eficiente de aprender habilidades na forma de instruções textuais e quadros-chave de vídeo. Observamos que os benchmarks existentes focam na sumarização de vídeos em nível semântico genérico e não são adequados para fornecer instruções executáveis passo a passo e ilustrações, ambos cruciais para vídeos instrucionais. Propomos um novo benchmark para sumarização de vídeos instrucionais de interface do usuário (UI) para preencher essa lacuna. Coletamos um conjunto de dados de 2.413 vídeos instrucionais de UI, que abrangem mais de 167 horas. Esses vídeos são anotados manualmente para segmentação de vídeo, sumarização textual e sumarização de vídeo, o que permite avaliações abrangentes para uma sumarização de vídeo concisa e executável. Realizamos extensos experimentos em nosso conjunto de dados MS4UI coletado, que sugerem que os métodos de sumarização multimodal state-of-the-art têm dificuldades na sumarização de vídeos de UI e destacam a importância de novos métodos para a sumarização de vídeos instrucionais de UI.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.