Sharingan: Extrair Sequência de Ações do Usuário de Gravações de Área de Trabalho

Sharingan: Extract User Action Sequence from Desktop Recordings

November 13, 2024

Autores: Yanting Chen, Yi Ren, Xiaoting Qin, Jue Zhang, Kehong Yuan, Lu Han, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang

cs.AI

Resumo

As gravações de vídeo das atividades do usuário, particularmente as gravações de desktop, oferecem uma rica fonte de dados para compreender os comportamentos do usuário e automatizar processos. No entanto, apesar dos avanços em Modelos de Visão e Linguagem (VLMs) e de seu uso crescente na análise de vídeo, a extração de ações do usuário a partir de gravações de desktop ainda é uma área pouco explorada. Este artigo aborda essa lacuna ao propor dois métodos inovadores baseados em VLM para extração de ações do usuário: a Abordagem Direta Baseada em Frames (DF), que insere frames amostrados diretamente nos VLMs, e a Abordagem Baseada em Frames Diferenciais (DiffF), que incorpora diferenças explícitas de frames detectadas por meio de técnicas de visão computacional. Avaliamos esses métodos usando um conjunto de dados básico auto-curado e um benchmark avançado adaptado de trabalhos anteriores. Nossos resultados mostram que a abordagem DF alcança uma precisão de 70% a 80% na identificação de ações do usuário, com as sequências de ações extraídas sendo reproduzíveis por meio da Automação de Processos Robóticos. Descobrimos que, embora os VLMs mostrem potencial, a incorporação de mudanças explícitas na interface do usuário pode degradar o desempenho, tornando a abordagem DF mais confiável. Este trabalho representa a primeira aplicação de VLMs para extrair sequências de ações do usuário a partir de gravações de desktop, contribuindo com novos métodos, benchmarks e insights para pesquisas futuras.

English

Video recordings of user activities, particularly desktop recordings, offer a rich source of data for understanding user behaviors and automating processes. However, despite advancements in Vision-Language Models (VLMs) and their increasing use in video analysis, extracting user actions from desktop recordings remains an underexplored area. This paper addresses this gap by proposing two novel VLM-based methods for user action extraction: the Direct Frame-Based Approach (DF), which inputs sampled frames directly into VLMs, and the Differential Frame-Based Approach (DiffF), which incorporates explicit frame differences detected via computer vision techniques. We evaluate these methods using a basic self-curated dataset and an advanced benchmark adapted from prior work. Our results show that the DF approach achieves an accuracy of 70% to 80% in identifying user actions, with the extracted action sequences being re-playable though Robotic Process Automation. We find that while VLMs show potential, incorporating explicit UI changes can degrade performance, making the DF approach more reliable. This work represents the first application of VLMs for extracting user action sequences from desktop recordings, contributing new methods, benchmarks, and insights for future research.