Skill0.5: Internalização e Utilização Conjunta de Habilidades para Generalização Fora da Distribuição no Aprendizado por Reforço Agêntico

Resumo

Equipar modelos de linguagem de grande escala com habilidades explícitas emergiu como um paradigma promissor para capacitar agentes autônomos a resolver tarefas complexas. As habilidades dos agentes podem ser inerentemente divididas em habilidades gerais, para transferência cognitiva ampla, e habilidades específicas de tarefa, para execução dinâmica. No entanto, os métodos existentes de aprendizado por reforço (RL) baseado em habilidades tipicamente impõem uma escolha rígida entre externalização completa, que acarreta custo de contexto proibitivo, e internalização completa, que arrisca overfitting e conflitos de conhecimento. Para abordar esse dilema, propomos Skill0.5, uma nova estrutura de RL agentiva que diferencia explicitamente os tratamentos de habilidades, combinando internalização de habilidades gerais com utilização de habilidades específicas de tarefa. Impulsionado por um roteador dinâmico e consciente de dificuldade, o Skill0.5 distribui tarefas em níveis distintos de maestria para aplicar estratégias de otimização personalizadas: ele internaliza habilidades gerais via destilação privilegiada para construir uma base cognitiva para tarefas difíceis, enquanto utiliza sondagem diagnóstica em tarefas fáceis para penalizar atalhos e impor a utilização de habilidades específicas. Experimentos no ALFWorld e no WebShop demonstram que o Skill0.5 supera tanto as linhas de base de RL baseadas em memória quanto as baseadas em habilidades, resultando em melhorias de desempenho em cenários dentro e fora da distribuição.

English

Equipping large language models with explicit skills has emerged as a promising paradigm for enabling autonomous agents to solve complex tasks. Agent skills can be inherently divided into general skills for broad cognitive transfer and task-specific skills for dynamic execution. However, existing skill-based reinforcement learning (RL) methods typically force a rigid choice between full externalization, which incurs prohibitive context overhead, and full internalization, which risks overfitting and knowledge conflicts. To address this dilemma, we propose Skill0.5, a novel agentic RL framework that explicitly differentiates skill treatments by combining general skill internalization with task-specific skill utilization. Driven by a dynamic, difficulty-aware router, Skill0.5 streams tasks into distinct mastery tiers to apply tailored optimization strategies: it internalizes general skills via privileged distillation to build a cognitive foundation for hard tasks, while using diagnostic probing on easy tasks to penalize shortcuts and enforce specific skill utilization. Experiments on ALFWorld and WebShop demonstrate that Skill0.5 outperforms both memory-based and skill-based RL baselines, yielding performance improvements across both in-distribution and out-of-distribution scenarios.