MS4UI: Набор данных для мультимодального суммаризации обучающих видео по пользовательским интерфейсам
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
Авторы: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
Аннотация
Мы исследуем многомодальное суммирование для обучающих видео, целью которого является предоставление пользователям эффективного способа освоения навыков в виде текстовых инструкций и ключевых видеокадров. Мы отмечаем, что существующие эталонные наборы данных сосредоточены на обобщённом семантическом уровне видеосуммирования и не подходят для предоставления пошаговых исполняемых инструкций и иллюстраций, которые имеют решающее значение для обучающих видео. Мы предлагаем новый эталонный набор данных для суммирования обучающих видео по пользовательским интерфейсам (UI), чтобы заполнить этот пробел. Мы собрали набор данных из 2 413 обучающих видео по UI, общая продолжительность которых превышает 167 часов. Эти видео вручную аннотированы для сегментации видео, текстового суммирования и видеосуммирования, что позволяет проводить всестороннюю оценку краткого и исполняемого видеосуммирования. Мы проводим обширные эксперименты на нашем собранном наборе данных MS4UI, которые показывают, что современные методы многомодального суммирования испытывают трудности с суммированием видео по UI, и подчёркивают важность разработки новых методов для суммирования обучающих видео по пользовательским интерфейсам.
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.