MS4UI: Un Dataset per la Sintesi Multi-modale di Video Istruttivi sulle Interfacce Utente
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Autori: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Abstract
Studiamo la summarizzazione multimodale per video didattici, il cui obiettivo è fornire agli utenti un modo efficiente per apprendere competenze sotto forma di istruzioni testuali e frame video chiave. Osserviamo che i benchmark esistenti si concentrano sulla summarizzazione video generica a livello semantico e non sono adatti a fornire istruzioni eseguibili passo-passo e illustrazioni, entrambe cruciali per i video didattici. Proponiamo un nuovo benchmark per la summarizzazione di video didattici sull'interfaccia utente (UI) per colmare questa lacuna. Abbiamo raccolto un dataset di 2.413 video didattici sull'UI, che coprono oltre 167 ore. Questi video sono stati annotati manualmente per la segmentazione video, la summarizzazione testuale e la summarizzazione video, consentendo valutazioni complete per una summarizzazione video concisa ed eseguibile. Abbiamo condotto esperimenti estensivi sul nostro dataset MS4UI, che suggeriscono come i metodi di summarizzazione multimodale all'avanguardia abbiano difficoltà con la summarizzazione di video sull'UI, evidenziando l'importanza di nuovi metodi per la summarizzazione di video didattici sull'interfaccia utente.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.