SkillHarness: Nutzung sicherer Fähigkeiten für Computer-nutzende Agenten

Zusammenfassung

Computer-Use-Agenten (CUAs) werden zunehmend in dynamischen interaktiven Umgebungen eingesetzt, was einen wachsenden Bedarf an kontinuierlichem Fertigkeitenlernen während der Interaktion schafft. Aktuelle Ansätze begegnen dieser Herausforderung, indem sie wiederverwendbare Fertigkeiten aus erfolgreichen Trajektorien lernen. Diese Methoden zum Fertigkeitenlernen gehen jedoch weitgehend von statischen und sicheren Umgebungen aus und vernachlässigen Risiken durch adversariale Interaktionen (z. B. Prompt-Injektionen) sowie Umweltdynamiken (z. B. Pop-ups). In dynamischen Umgebungen können solche Annahmen zu riskantem Fertigkeitenlernen und brüchiger Ausführung führen, was die Zuverlässigkeit von CUAs untergräbt. Dies wirft die Frage auf: Wie können CUAs Fertigkeiten in dynamischen Umgebungen sicher erlernen und nutzen? Zur Lösung dieses Problems schlagen wir SkillHarness vor, ein Framework für sicheres Fertigkeitshandhaben in dynamischen Umgebungen. SkillHarness geht über statische Fertigkeitsabstraktionen hinaus, indem es das Lernen und die Nutzung von Fertigkeiten als sicherheitsbeschränkten Interaktionsprozess modelliert. Insbesondere führen wir die Fertigkeitsgrenze ein, die multi-quellenbasierte Überwachungssignale nutzt, um sichere Fertigkeiten aus Interaktionstrajektorien zu identifizieren, und während des gesamten Fertigkeitslebenszyklus selbstverbessernde Sicherheitsbeschränkungen konstruiert. Darüber hinaus führt SkillHarness eine selektive Fertigkeitswiederverwendung ein, bei der Aufgaben kontextabhängig zerlegt und durch die selektive Aktivierung von Fertigkeitsteilmengen abgeschlossen werden. Unsere Experimente zeigen, dass SkillHarness die Unsicherheitsrate gelernter Fertigkeiten um 57,1 % signifikant reduziert und die Ausführungsstabilität unter dynamischen Umweltveränderungen konsequent verbessert, wobei es bestehende Basislinien übertrifft.

English

Computer-Use Agents (CUAs) are increasingly deployed in dynamic interactive environments, creating a growing need for continual skill learning during interaction. Recent approaches address this challenge by learning reusable skills from successful trajectories. However, these skill learning methods largely assume static and safe environments, overlooking risks from adversarial interactions (e.g., prompt injections) and environmental dynamics (e.g., pop-ups). In dynamic settings, such assumptions can lead to risky skill learning and brittle execution, undermining the reliability of CUAs. This raises the question: how can CUAs learn and use skills safely in dynamic environments? To address this problem, we propose SkillHarness, a framework for safe skill harnessing in dynamic environments. SkillHarness moves beyond static skill abstractions by modeling skill learning and utilization as a safety-constrained interaction process. Specifically, we introduce the skill boundary that leverages multi-source supervision signals to identify safe skills from interaction trajectories, and construct self-improving safety constraints throughout the skill lifecycle. In addition, SkillHarness introduces selective skill reuse, where tasks are guided to decompose according to context and completed through the selective activation of skill subsets. Our experiments demonstrate that SkillHarness significantly reduces the unsafe rate of learned skills by 57.1% and consistently improves execution stability under dynamic environmental changes, outperforming existing baselines.