MS4UI : Un ensemble de données pour le résumé multimodal des vidéos pédagogiques d'interfaces utilisateur
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Auteurs: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Résumé
Nous étudions la synthèse multimodale pour les vidéos pédagogiques, dont l'objectif est de fournir aux utilisateurs un moyen efficace d'apprendre des compétences sous forme d'instructions textuelles et d'images clés extraites des vidéos. Nous constatons que les benchmarks existants se concentrent sur la synthèse vidéo générique au niveau sémantique et ne sont pas adaptés pour fournir des instructions exécutables étape par étape ainsi que des illustrations, deux éléments cruciaux pour les vidéos pédagogiques. Nous proposons un nouveau benchmark pour la synthèse de vidéos pédagogiques sur les interfaces utilisateur (UI) afin de combler cette lacune. Nous avons collecté un ensemble de données de 2 413 vidéos pédagogiques sur les UI, totalisant plus de 167 heures. Ces vidéos sont annotées manuellement pour la segmentation vidéo, la synthèse textuelle et la synthèse vidéo, ce qui permet des évaluations complètes pour une synthèse vidéo concise et exécutable. Nous menons des expériences approfondies sur notre ensemble de données MS4UI, qui montrent que les méthodes de synthèse multimodale de pointe peinent à synthétiser les vidéos sur les UI, et soulignent l'importance de nouvelles méthodes pour la synthèse de vidéos pédagogiques sur les UI.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.