Sharingan: Extraer Secuencia de Acciones del Usuario de Grabaciones de Escritorio

Sharingan: Extract User Action Sequence from Desktop Recordings

November 13, 2024

Autores: Yanting Chen, Yi Ren, Xiaoting Qin, Jue Zhang, Kehong Yuan, Lu Han, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Resumen

Las grabaciones de video de las actividades de los usuarios, en particular las grabaciones de escritorio, ofrecen una fuente rica de datos para comprender los comportamientos de los usuarios y automatizar procesos. Sin embargo, a pesar de los avances en los Modelos de Visión-Lenguaje (VLMs) y su uso creciente en el análisis de video, la extracción de acciones de usuario de las grabaciones de escritorio sigue siendo un área poco explorada. Este artículo aborda esta brecha proponiendo dos métodos novedosos basados en VLM para la extracción de acciones de usuario: el Enfoque Directo Basado en Fotogramas (DF), que introduce fotogramas muestreados directamente en los VLMs, y el Enfoque Basado en Fotogramas Diferenciales (DiffF), que incorpora diferencias explícitas de fotogramas detectadas a través de técnicas de visión por computadora. Evaluamos estos métodos utilizando un conjunto de datos básico auto-curado y un benchmark avanzado adaptado de trabajos anteriores. Nuestros resultados muestran que el enfoque DF logra una precisión del 70% al 80% en la identificación de acciones de usuario, con las secuencias de acciones extraídas siendo reproducibles a través de la Automatización de Procesos Robóticos. Observamos que si bien los VLMs muestran potencial, la incorporación de cambios explícitos en la interfaz de usuario puede degradar el rendimiento, haciendo que el enfoque DF sea más confiable. Este trabajo representa la primera aplicación de VLMs para extraer secuencias de acciones de usuario de grabaciones de escritorio, aportando nuevos métodos, benchmarks e ideas para futuras investigaciones.

English

Video recordings of user activities, particularly desktop recordings, offer a rich source of data for understanding user behaviors and automating processes. However, despite advancements in Vision-Language Models (VLMs) and their increasing use in video analysis, extracting user actions from desktop recordings remains an underexplored area. This paper addresses this gap by proposing two novel VLM-based methods for user action extraction: the Direct Frame-Based Approach (DF), which inputs sampled frames directly into VLMs, and the Differential Frame-Based Approach (DiffF), which incorporates explicit frame differences detected via computer vision techniques. We evaluate these methods using a basic self-curated dataset and an advanced benchmark adapted from prior work. Our results show that the DF approach achieves an accuracy of 70% to 80% in identifying user actions, with the extracted action sequences being re-playable though Robotic Process Automation. We find that while VLMs show potential, incorporating explicit UI changes can degrade performance, making the DF approach more reliable. This work represents the first application of VLMs for extracting user action sequences from desktop recordings, contributing new methods, benchmarks, and insights for future research.