Шаринган: Извлечение последовательности действий пользователя из записей рабочего стола

Sharingan: Extract User Action Sequence from Desktop Recordings

November 13, 2024

Авторы: Yanting Chen, Yi Ren, Xiaoting Qin, Jue Zhang, Kehong Yuan, Lu Han, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Аннотация

Видеозаписи пользовательской деятельности, особенно записи рабочего стола, представляют собой богатый источник данных для понимания поведения пользователей и автоматизации процессов. Однако, несмотря на прогресс в моделях видение-язык (VLM) и их все более широкое использование в анализе видео, извлечение действий пользователя из записей рабочего стола остается малоизученной областью. В данной статье рассматривается этот пробел путем предложения двух новых методов извлечения действий пользователя на основе VLM: прямой метод на основе кадров (DF), который подает выборочные кадры непосредственно в VLM, и дифференциальный метод на основе кадров (DiffF), который включает явные различия кадров, обнаруженные с помощью техник компьютерного зрения. Мы оцениваем эти методы, используя базовый самостоятельно подготовленный набор данных и продвинутый бенчмарк, адаптированный из предыдущих работ. Наши результаты показывают, что метод DF достигает точности от 70% до 80% в идентификации действий пользователя, причем извлеченные последовательности действий могут быть воспроизведены с помощью роботизированной автоматизации процессов. Мы обнаружили, что хотя VLM показывают потенциал, включение явных изменений пользовательского интерфейса может снизить производительность, что делает метод DF более надежным. Эта работа представляет собой первое применение VLM для извлечения последовательностей действий пользователя из записей рабочего стола, внося новые методы, бенчмарки и идеи для будущих исследований.

English

Video recordings of user activities, particularly desktop recordings, offer a rich source of data for understanding user behaviors and automating processes. However, despite advancements in Vision-Language Models (VLMs) and their increasing use in video analysis, extracting user actions from desktop recordings remains an underexplored area. This paper addresses this gap by proposing two novel VLM-based methods for user action extraction: the Direct Frame-Based Approach (DF), which inputs sampled frames directly into VLMs, and the Differential Frame-Based Approach (DiffF), which incorporates explicit frame differences detected via computer vision techniques. We evaluate these methods using a basic self-curated dataset and an advanced benchmark adapted from prior work. Our results show that the DF approach achieves an accuracy of 70% to 80% in identifying user actions, with the extracted action sequences being re-playable though Robotic Process Automation. We find that while VLMs show potential, incorporating explicit UI changes can degrade performance, making the DF approach more reliable. This work represents the first application of VLMs for extracting user action sequences from desktop recordings, contributing new methods, benchmarks, and insights for future research.