MS4UI: Een dataset voor multi-modale samenvatting van gebruikersinterface-instructievideo's
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Auteurs: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Samenvatting
We bestuderen multi-modale samenvatting voor instructievideo's, met als doel gebruikers een efficiënte manier te bieden om vaardigheden te leren in de vorm van tekstuele instructies en sleutelvideobeelden. We merken op dat bestaande benchmarks zich richten op generieke semantische videobewerkingen en niet geschikt zijn voor het bieden van stap-voor-stap uitvoerbare instructies en illustraties, die beide cruciaal zijn voor instructievideo's. We stellen een nieuwe benchmark voor voor samenvatting van gebruikersinterface (UI) instructievideo's om deze leemte op te vullen. We verzamelden een dataset van 2.413 UI-instructievideo's, die in totaal meer dan 167 uur beslaan. Deze video's zijn handmatig geannoteerd voor videosegmentatie, tekstuele samenvatting en videobewerking, wat uitgebreide evaluaties mogelijk maakt voor beknopte en uitvoerbare videobewerkingen. We voerden uitgebreide experimenten uit op onze verzamelde MS4UI-dataset, die suggereren dat state-of-the-art multi-modale samenvattingsmethoden moeite hebben met UI-videobewerkingen, en benadrukken het belang van nieuwe methoden voor UI-instructievideobewerkingen.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.