写輪眼：デスクトップ録画からユーザーアクションシーケンスを抽出

Sharingan: Extract User Action Sequence from Desktop Recordings

November 13, 2024

著者: Yanting Chen, Yi Ren, Xiaoting Qin, Jue Zhang, Kehong Yuan, Lu Han, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

要旨

ユーザーの活動のビデオ記録、特にデスクトップの記録は、ユーザーの行動を理解しプロセスを自動化するための豊富なデータソースを提供します。しかし、ビジョン言語モデル（VLMs）の進歩とそのビデオ分析での利用が増加しているにもかかわらず、デスクトップの記録からユーザーの行動を抽出することは未開拓の分野です。本論文では、このギャップに取り組み、ユーザーの行動抽出のための2つの新しいVLMベースの手法を提案します。直接フレームベースアプローチ（DF）は、サンプリングされたフレームを直接VLMに入力する手法であり、差分フレームベースアプローチ（DiffF）は、コンピュータビジョン技術によって検出された明示的なフレームの差分を組み込んでいます。これらの手法を、基本的な自己収集データセットと、以前の研究から適応した高度なベンチマークを使用して評価します。結果は、DF手法がユーザーの行動を識別する際に70％から80％の精度を達成し、抽出されたアクションシーケンスはロボティックプロセス自動化を通じて再生可能であることを示しています。VLMには潜在能力がある一方で、明示的なUIの変更を組み込むとパフォーマンスが低下することがわかり、DF手法がより信頼性があることが示されました。この研究は、デスクトップの記録からユーザーの行動シーケンスを抽出するためのVLMの初の応用であり、将来の研究のための新しい手法、ベンチマーク、洞察を提供しています。

English

Video recordings of user activities, particularly desktop recordings, offer a rich source of data for understanding user behaviors and automating processes. However, despite advancements in Vision-Language Models (VLMs) and their increasing use in video analysis, extracting user actions from desktop recordings remains an underexplored area. This paper addresses this gap by proposing two novel VLM-based methods for user action extraction: the Direct Frame-Based Approach (DF), which inputs sampled frames directly into VLMs, and the Differential Frame-Based Approach (DiffF), which incorporates explicit frame differences detected via computer vision techniques. We evaluate these methods using a basic self-curated dataset and an advanced benchmark adapted from prior work. Our results show that the DF approach achieves an accuracy of 70% to 80% in identifying user actions, with the extracted action sequences being re-playable though Robotic Process Automation. We find that while VLMs show potential, incorporating explicit UI changes can degrade performance, making the DF approach more reliable. This work represents the first application of VLMs for extracting user action sequences from desktop recordings, contributing new methods, benchmarks, and insights for future research.