MS4UI: ユーザーインターフェース操作説明動画のマルチモーダル要約のためのデータセット
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
June 14, 2025
著者: Yuan Zang, Hao Tan, Seunghyun Yoon, Franck Dernoncourt, Jiuxiang Gu, Kushal Kafle, Chen Sun, Trung Bui
cs.AI
要旨
本研究では、操作説明動画のためのマルチモーダル要約に着目し、テキストによる指示とキーフレームを用いて効率的にスキルを学ぶ手段を提供することを目的とする。既存のベンチマークは一般的な意味レベルの動画要約に焦点を当てており、段階的に実行可能な指示と図解を提供するには適しておらず、これらは操作説明動画において不可欠な要素である。このギャップを埋めるため、ユーザーインターフェース（UI）操作説明動画の要約に特化した新たなベンチマークを提案する。167時間以上に及ぶ2,413本のUI操作説明動画からなるデータセットを収集し、動画セグメンテーション、テキスト要約、動画要約のための手動アノテーションを行った。これにより、簡潔かつ実行可能な動画要約の包括的評価が可能となった。収集したMS4UIデータセットを用いた広範な実験を行い、最先端のマルチモーダル要約手法がUI動画要約において困難を抱えることを示し、UI操作説明動画要約のための新たな手法の重要性を強調した。
English
We study multi-modal summarization for instructional videos, whose goal is to
provide users an efficient way to learn skills in the form of text instructions
and key video frames. We observe that existing benchmarks focus on generic
semantic-level video summarization, and are not suitable for providing
step-by-step executable instructions and illustrations, both of which are
crucial for instructional videos. We propose a novel benchmark for user
interface (UI) instructional video summarization to fill the gap. We collect a
dataset of 2,413 UI instructional videos, which spans over 167 hours. These
videos are manually annotated for video segmentation, text summarization, and
video summarization, which enable the comprehensive evaluations for concise and
executable video summarization. We conduct extensive experiments on our
collected MS4UI dataset, which suggest that state-of-the-art multi-modal
summarization methods struggle on UI video summarization, and highlight the
importance of new methods for UI instructional video summarization.