Skill0.5: エージェント強化学習における分布外汎化のためのスキルの共同内面化と活用

要旨

大規模言語モデルに明示的なスキルを付与することは、自律エージェントが複雑なタスクを解決するための有望なパラダイムとして浮上している。エージェントスキルは、広範な認知転移のための一般的スキルと、動的実行のためのタスク固有スキルに本質的に分類できる。しかしながら、既存のスキルベース強化学習（RL）手法は通常、過大なコンテキストオーバーヘッドを伴う完全な外部化と、過適合や知識競合のリスクがある完全な内部化の間で、硬直した選択を強いる。このジレンマに対処するために、我々は一般的スキルの内部化とタスク固有スキルの活用を組み合わせてスキル処理を明示的に区別する、新しいエージェントRLフレームワークであるSkill0.5を提案する。動的かつ難易度認識型のルーターによって駆動され、Skill0.5はタスクを異なる習熟度階層に振り分け、調整された最適化戦略を適用する。すなわち、特権蒸留を介して一般的スキルを内部化し、難しいタスクに対する認知基盤を構築する一方、簡単なタスクでは診断的プロービングを用いてショートカットをペナルティし、特定のスキル活用を強制する。ALFWorldおよびWebShopでの実験は、Skill0.5がメモリベースおよびスキルベースのRLベースラインの両方を上回り、分布内および分布外の両方のシナリオで性能向上をもたらすことを示している。

English

Equipping large language models with explicit skills has emerged as a promising paradigm for enabling autonomous agents to solve complex tasks. Agent skills can be inherently divided into general skills for broad cognitive transfer and task-specific skills for dynamic execution. However, existing skill-based reinforcement learning (RL) methods typically force a rigid choice between full externalization, which incurs prohibitive context overhead, and full internalization, which risks overfitting and knowledge conflicts. To address this dilemma, we propose Skill0.5, a novel agentic RL framework that explicitly differentiates skill treatments by combining general skill internalization with task-specific skill utilization. Driven by a dynamic, difficulty-aware router, Skill0.5 streams tasks into distinct mastery tiers to apply tailored optimization strategies: it internalizes general skills via privileged distillation to build a cognitive foundation for hard tasks, while using diagnostic probing on easy tasks to penalize shortcuts and enforce specific skill utilization. Experiments on ALFWorld and WebShop demonstrate that Skill0.5 outperforms both memory-based and skill-based RL baselines, yielding performance improvements across both in-distribution and out-of-distribution scenarios.