Apprentissage d'une politique agentive à partir de guidage par l'action

Résumé

L'apprentissage par renforcement agentique (RL) pour les grands modèles de langage (LLMs) dépend de manière cruciale de la capacité d'exploration de la politique de base, car les signaux d'apprentissage n'émergent qu'à l'intérieur de sa région de compétence. Pour les tâches où la politique de base ne peut pas atteindre les états de récompense, un entraînement supplémentaire ou un guidage externe est nécessaire pour retrouver des signaux d'apprentissage efficaces. Plutôt que de recourir à un ajustement fin supervisé (SFT) itératif et coûteux, nous exploitons les abondantes données d'action générées dans les interactions humaines quotidiennes. Nous proposons ActGuide-RL, qui injecte les données d'action sous forme de guidage de référence de type plan, permettant à la politique agentique de surmonter les barrières d'accessibilité aux états de récompense. Les déploiements guidés et non guidés sont ensuite optimisés conjointement via un entraînement à politique mixte, internalisant les gains d'exploration dans la politique non guidée. Motivés par une analyse théorique et empirique du compromis bénéfice-risque, nous adoptons un principe d'intervention minimale qui invoque le guidage uniquement comme un repli adaptatif, correspondant à la difficulté de la tâche tout en minimisant le risque hors politique. Sur les bancs d'essai d'agents de recherche, ActGuide-RL améliore considérablement par rapport à un RL zéro (+10,7 points de pourcentage sur GAIA et +19 points de pourcentage sur XBench avec Qwen3-4B), et obtient des performances comparables au pipeline SFT+RL sans aucun démarrage à froid. Cela suggère un nouveau paradigme pour le RL agentique qui réduit la dépendance aux données SFT lourdes en utilisant plutôt un guidage d'action évolutif.

English

Agentic reinforcement learning (RL) for Large Language Models (LLMs) critically depends on the exploration capability of the base policy, as training signals emerge only within its in-capability region. For tasks where the base policy cannot reach reward states, additional training or external guidance is needed to recover effective learning signals. Rather than relying on costly iterative supervised fine tuning (SFT), we exploit the abundant action data generated in everyday human interactions. We propose ActGuide-RL, which injects action data as plan-style reference guidance, enabling the agentic policy to overcome reachability barriers to reward states. Guided and unguided rollouts are then jointly optimized via mixed-policy training, internalizing the exploration gains back into the unguided policy. Motivated by a theoretical and empirical analysis of the benefit-risk trade-off, we adopt a minimal intervention principle that invokes guidance only as an adaptive fallback, matching task difficulty while minimizing off-policy risk. On search-agent benchmarks, ActGuide-RL substantially improves over zero RL (+10.7 pp on GAIA and +19 pp on XBench with Qwen3-4B), and performs on par with the SFT+RL pipeline without any cold start. This suggests a new paradigm for agentic RL that reduces the reliance on heavy SFT data by using scalable action guidance instead.