Skill0.5: Gemeinsame Internalisierung und Nutzung von Fähigkeiten für die Out-of-Distribution-Generalisierung im Agentischen Reinforcement Learning

Zusammenfassung

Die Ausstattung großer Sprachmodelle mit expliziten Fähigkeiten hat sich als vielversprechendes Paradigma für die Befähigung autonomer Agenten zur Lösung komplexer Aufgaben erwiesen. Agentenfähigkeiten lassen sich grundsätzlich in allgemeine Fähigkeiten für breiten kognitiven Transfer und aufgabenspezifische Fähigkeiten für die dynamische Ausführung unterteilen. Bestehende fähigkeitsbasierte Verstärkungslernmethoden (RL) erzwingen jedoch typischerweise eine starre Wahl zwischen vollständiger Externalisierung, die einen prohibitiven Kontext-Overhead verursacht, und vollständiger Internalisierung, die das Risiko von Überanpassung und Wissenskonflikten birgt. Um dieses Dilemma zu adressieren, schlagen wir Skill0.5 vor, ein neuartiges agentisches RL-Framework, das die Behandlung von Fähigkeiten explizit differenziert, indem es die Internalisierung allgemeiner Fähigkeiten mit der Nutzung aufgabenspezifischer Fähigkeiten kombiniert. Angetrieben von einem dynamischen, schwierigkeitsbewussten Router leitet Skill0.5 Aufgaben in verschiedene Meisterschaftsstufen, um maßgeschneiderte Optimierungsstrategien anzuwenden: Es internalisiert allgemeine Fähigkeiten durch privilegierte Destillation, um eine kognitive Grundlage für schwierige Aufgaben aufzubauen, und nutzt diagnostisches Sondieren bei einfachen Aufgaben, um Abkürzungen zu bestrafen und die spezifische Fähigkeitsnutzung zu erzwingen. Experimente auf ALFWorld und WebShop zeigen, dass Skill0.5 sowohl gedächtnisbasierte als auch fähigkeitsbasierte RL-Baselines übertrifft und Leistungssteigerungen sowohl innerhalb als auch außerhalb der Verteilungsannahme erzielt.

English

Equipping large language models with explicit skills has emerged as a promising paradigm for enabling autonomous agents to solve complex tasks. Agent skills can be inherently divided into general skills for broad cognitive transfer and task-specific skills for dynamic execution. However, existing skill-based reinforcement learning (RL) methods typically force a rigid choice between full externalization, which incurs prohibitive context overhead, and full internalization, which risks overfitting and knowledge conflicts. To address this dilemma, we propose Skill0.5, a novel agentic RL framework that explicitly differentiates skill treatments by combining general skill internalization with task-specific skill utilization. Driven by a dynamic, difficulty-aware router, Skill0.5 streams tasks into distinct mastery tiers to apply tailored optimization strategies: it internalizes general skills via privileged distillation to build a cognitive foundation for hard tasks, while using diagnostic probing on easy tasks to penalize shortcuts and enforce specific skill utilization. Experiments on ALFWorld and WebShop demonstrate that Skill0.5 outperforms both memory-based and skill-based RL baselines, yielding performance improvements across both in-distribution and out-of-distribution scenarios.