Skill0.5: internalización y utilización conjunta de habilidades para la generalización fuera de la distribución en aprendizaje por refuerzo agéntico

Resumen

Equipar a los modelos de lenguaje grandes con habilidades explícitas ha surgido como un paradigma prometedor para capacitar a agentes autónomos en la resolución de tareas complejas. Las habilidades de los agentes pueden dividirse inherentemente en habilidades generales para una transferencia cognitiva amplia y habilidades específicas de tareas para una ejecución dinámica. Sin embargo, los métodos existentes de aprendizaje por refuerzo (RL) basados en habilidades suelen imponer una elección rígida entre la externalización completa, que conlleva una carga de contexto prohibitiva, y la internalización completa, que corre el riesgo de sobreajuste y conflictos de conocimiento. Para abordar este dilema, proponemos Skill0.5, un novedoso marco de RL agentivo que diferencia explícitamente el tratamiento de las habilidades mediante la combinación de la internalización de habilidades generales con la utilización de habilidades específicas de tareas. Impulsado por un enrutador dinámico y consciente de la dificultad, Skill0.5 clasifica las tareas en distintos niveles de dominio para aplicar estrategias de optimización adaptadas: internaliza las habilidades generales mediante destilación privilegiada para construir una base cognitiva para tareas difíciles, mientras utiliza un sondeo diagnóstico en tareas fáciles para penalizar los atajos y forzar la utilización de habilidades específicas. Los experimentos en ALFWorld y WebShop demuestran que Skill0.5 supera tanto a las líneas base de RL basadas en memoria como a las basadas en habilidades, obteniendo mejoras de rendimiento tanto en escenarios dentro de la distribución como fuera de ella.

English

Equipping large language models with explicit skills has emerged as a promising paradigm for enabling autonomous agents to solve complex tasks. Agent skills can be inherently divided into general skills for broad cognitive transfer and task-specific skills for dynamic execution. However, existing skill-based reinforcement learning (RL) methods typically force a rigid choice between full externalization, which incurs prohibitive context overhead, and full internalization, which risks overfitting and knowledge conflicts. To address this dilemma, we propose Skill0.5, a novel agentic RL framework that explicitly differentiates skill treatments by combining general skill internalization with task-specific skill utilization. Driven by a dynamic, difficulty-aware router, Skill0.5 streams tasks into distinct mastery tiers to apply tailored optimization strategies: it internalizes general skills via privileged distillation to build a cognitive foundation for hard tasks, while using diagnostic probing on easy tasks to penalize shortcuts and enforce specific skill utilization. Experiments on ALFWorld and WebShop demonstrate that Skill0.5 outperforms both memory-based and skill-based RL baselines, yielding performance improvements across both in-distribution and out-of-distribution scenarios.