SkillHarness : Exploiter des compétences sûres pour des agents d’utilisation d’ordinateur

Résumé

Les agents d'utilisation d'ordinateur (AUO) sont de plus en plus déployés dans des environnements interactifs dynamiques, créant un besoin croissant d'apprentissage continu de compétences lors des interactions. Les approches récentes relèvent ce défi en apprenant des compétences réutilisables à partir de trajectoires réussies. Cependant, ces méthodes d'apprentissage de compétences supposent en grande partie des environnements statiques et sûrs, négligeant les risques liés aux interactions adverses (par exemple, les injections d'invites) et aux dynamiques environnementales (par exemple, les fenêtres contextuelles). Dans des contextes dynamiques, de telles hypothèses peuvent conduire à un apprentissage risqué des compétences et à une exécution fragile, compromettant la fiabilité des AUO. Cela soulève la question suivante : comment les AUO peuvent-ils apprendre et utiliser des compétences en toute sécurité dans des environnements dynamiques ? Pour résoudre ce problème, nous proposons SkillHarness, un cadre pour l'exploitation sécurisée des compétences dans des environnements dynamiques. SkillHarness dépasse les abstractions statiques de compétences en modélisant l'apprentissage et l'utilisation des compétences comme un processus d'interaction contraint par la sécurité. Plus précisément, nous introduisons la frontière de compétence qui exploite des signaux de supervision multi-sources pour identifier les compétences sûres à partir des trajectoires d'interaction, et construisons des contraintes de sécurité auto-améliorantes tout au long du cycle de vie des compétences. De plus, SkillHarness introduit la réutilisation sélective de compétences, où les tâches sont guidées pour se décomposer en fonction du contexte et accomplies par l'activation sélective de sous-ensembles de compétences. Nos expériences montrent que SkillHarness réduit significativement le taux d'insécurité des compétences apprises de 57,1 % et améliore constamment la stabilité d'exécution face aux changements environnementaux dynamiques, surpassant les références existantes.

English

Computer-Use Agents (CUAs) are increasingly deployed in dynamic interactive environments, creating a growing need for continual skill learning during interaction. Recent approaches address this challenge by learning reusable skills from successful trajectories. However, these skill learning methods largely assume static and safe environments, overlooking risks from adversarial interactions (e.g., prompt injections) and environmental dynamics (e.g., pop-ups). In dynamic settings, such assumptions can lead to risky skill learning and brittle execution, undermining the reliability of CUAs. This raises the question: how can CUAs learn and use skills safely in dynamic environments? To address this problem, we propose SkillHarness, a framework for safe skill harnessing in dynamic environments. SkillHarness moves beyond static skill abstractions by modeling skill learning and utilization as a safety-constrained interaction process. Specifically, we introduce the skill boundary that leverages multi-source supervision signals to identify safe skills from interaction trajectories, and construct self-improving safety constraints throughout the skill lifecycle. In addition, SkillHarness introduces selective skill reuse, where tasks are guided to decompose according to context and completed through the selective activation of skill subsets. Our experiments demonstrate that SkillHarness significantly reduces the unsafe rate of learned skills by 57.1% and consistently improves execution stability under dynamic environmental changes, outperforming existing baselines.