Apprendre à explorer : mise à l’échelle du raisonnement agentique par optimisation de politique consciente de l’exploration

Résumé

Les récentes avancées en matière de scaling temporel agentique (agentic test-time scaling) permettent aux modèles de recueillir des retours d'information environnementaux avant d'adopter des actions finales. Une limitation clé des méthodes existantes réside dans leur recours typique à des stratégies d'exploration non différenciées, sans capacité à discerner de manière adaptative quand l'exploration est réellement nécessaire. Dans cet article, nous proposons un cadre d'apprentissage par renforcement sensible à l'exploration, qui permet aux agents LLM d'explorer de manière adaptative uniquement lorsque l'incertitude est élevée. Notre méthode introduit une fonction de récompense fine via l'inférence variationnelle, qui évalue explicitement les actions exploratoires en estimant leur potentiel à améliorer la prise de décision future, ainsi qu'un mécanisme de groupement sensible à l'exploration qui sépare les actions exploratoires des actions d'accomplissement de tâche lors de l'optimisation. En ciblant les lacunes informationnelles, cette conception permet aux agents d'explorer de manière sélective et de passer à l'exécution dès que le contexte de la tâche est clair. Empiriquement, nous démontrons que notre approche obtient des améliorations constantes sur une série de benchmarks agents complexes basés sur du texte et des interfaces graphiques (GUI). Le code est disponible à l'adresse https://github.com/HansenHua/EAPO-ICML26 et les modèles sont disponibles à l'adresse https://huggingface.co/hansenhua/EAPO-ICML26.

English

Recent advancements in agentic test-time scaling allow models to gather environmental feedback before committing to final actions. A key limitation of existing methods is that they typically employ undifferentiated exploration strategies, lacking the ability to adaptively distinguish when exploration is truly required. In this paper, we propose an exploration-aware reinforcement learning framework that enables LLM agents to adaptively explore only when uncertainty is high. Our method introduces a fine-grained reward function via variational inference that explicitly evaluates exploratory actions by estimating their potential to improve future decision-making, together with an exploration-aware grouping mechanism that separates exploratory actions from task-completion actions during optimization. By targeting informational gaps, this design allows agents to explore selectively and transition to execution as soon as the task context is clear. Empirically, we demonstrate that our approach achieves consistent improvements across a range of challenging text-based and GUI-based agent benchmarks. Code is available at https://github.com/HansenHua/EAPO-ICML26 and models are available at https://huggingface.co/hansenhua/EAPO-ICML26.