MS4UI: Ein Datensatz für die multimodale Zusammenfassung von Benutzeroberflächen-Instruktionsvideos
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Autoren: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Zusammenfassung
Wir untersuchen die multimodale Zusammenfassung von Anleitungsvideos, deren Ziel es ist, Nutzern eine effiziente Möglichkeit zu bieten, Fähigkeiten in Form von Textanweisungen und Schlüsselvideobildern zu erlernen. Wir stellen fest, dass bestehende Benchmarks sich auf generische, semantische Videozusammenfassungen konzentrieren und nicht geeignet sind, schrittweise ausführbare Anweisungen und Illustrationen bereitzustellen, die beide für Anleitungsvideos entscheidend sind. Um diese Lücke zu schließen, schlagen wir einen neuartigen Benchmark für die Zusammenfassung von Benutzeroberflächen (UI)-Anleitungsvideos vor. Wir sammeln einen Datensatz von 2.413 UI-Anleitungsvideos, die sich über 167 Stunden erstrecken. Diese Videos sind manuell für Videosegmentierung, Textzusammenfassung und Videozusammenfassung annotiert, was umfassende Bewertungen für prägnante und ausführbare Videozusammenfassungen ermöglicht. Wir führen umfangreiche Experimente mit unserem gesammelten MS4UI-Datensatz durch, die zeigen, dass state-of-the-art multimodale Zusammenfassungsmethoden bei der UI-Videozusammenfassung Schwierigkeiten haben, und unterstreichen die Bedeutung neuer Methoden für die Zusammenfassung von UI-Anleitungsvideos.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.