SkillHarness: Aproveitando Habilidades Seguras para Agentes de Uso de Computador

Resumo

Agentes de Uso de Computador (CUAs) são cada vez mais implantados em ambientes interativos dinâmicos, criando uma necessidade crescente de aprendizado contínuo de habilidades durante a interação. Abordagens recentes enfrentam esse desafio aprendendo habilidades reutilizáveis a partir de trajetórias bem-sucedidas. No entanto, esses métodos de aprendizado de habilidades assumem em grande parte ambientes estáticos e seguros, desconsiderando riscos provenientes de interações adversariais (por exemplo, injeções de prompt) e dinâmicas ambientais (por exemplo, pop-ups). Em cenários dinâmicos, tais suposições podem levar a um aprendizado arriscado de habilidades e a uma execução frágil, comprometendo a confiabilidade dos CUAs. Isso levanta a pergunta: como os CUAs podem aprender e usar habilidades de forma segura em ambientes dinâmicos? Para abordar esse problema, propomos o SkillHarness, uma estrutura para aproveitamento seguro de habilidades em ambientes dinâmicos. O SkillHarness vai além das abstrações estáticas de habilidades ao modelar o aprendizado e a utilização de habilidades como um processo de interação restrito por segurança. Especificamente, introduzimos o limite de habilidade, que aproveita sinais de supervisão de múltiplas fontes para identificar habilidades seguras a partir de trajetórias de interação, e construímos restrições de segurança autoaprimoráveis ao longo do ciclo de vida da habilidade. Além disso, o SkillHarness introduz a reutilização seletiva de habilidades, onde as tarefas são orientadas a se decompor de acordo com o contexto e concluídas por meio da ativação seletiva de subconjuntos de habilidades. Nossos experimentos demonstram que o SkillHarness reduz significativamente a taxa de insegurança das habilidades aprendidas em 57,1% e melhora consistentemente a estabilidade de execução sob mudanças ambientais dinâmicas, superando as bases de referência existentes.

English

Computer-Use Agents (CUAs) are increasingly deployed in dynamic interactive environments, creating a growing need for continual skill learning during interaction. Recent approaches address this challenge by learning reusable skills from successful trajectories. However, these skill learning methods largely assume static and safe environments, overlooking risks from adversarial interactions (e.g., prompt injections) and environmental dynamics (e.g., pop-ups). In dynamic settings, such assumptions can lead to risky skill learning and brittle execution, undermining the reliability of CUAs. This raises the question: how can CUAs learn and use skills safely in dynamic environments? To address this problem, we propose SkillHarness, a framework for safe skill harnessing in dynamic environments. SkillHarness moves beyond static skill abstractions by modeling skill learning and utilization as a safety-constrained interaction process. Specifically, we introduce the skill boundary that leverages multi-source supervision signals to identify safe skills from interaction trajectories, and construct self-improving safety constraints throughout the skill lifecycle. In addition, SkillHarness introduces selective skill reuse, where tasks are guided to decompose according to context and completed through the selective activation of skill subsets. Our experiments demonstrate that SkillHarness significantly reduces the unsafe rate of learned skills by 57.1% and consistently improves execution stability under dynamic environmental changes, outperforming existing baselines.