SSL : Apprentissage par Point Optimal pour un Guidage Différencié dans l'Optimisation Agentielle
SSL: Sweet Spot Learning for Differentiated Guidance in Agentic Optimization
January 30, 2026
papers.authors: Jinyang Wu, Changpeng Yang, Yuhao Shen, Fangzhi Xu, Bolin Ni, Chonghua Liao, Yuchen Liu, Hongzhen Wang, Shuai Nie, Shuai Zhang, Haoran Luo, Jiaming Xu
cs.AI
papers.abstract
L'apprentissage par renforcement avec récompenses vérifiables est devenu un paradigme puissant pour l'entraînement d'agents intelligents. Cependant, les méthodes existantes utilisent généralement des récompenses binaires qui ne parviennent pas à capturer les différences de qualité entre les trajectoires atteignant des résultats identiques, négligeant ainsi la diversité potentielle au sein de l'espace des solutions. Inspirés par le concept du « sweet spot » (point idéal) au tennis – la région centrale de la raquette produisant les effets de frappe optimaux – nous introduisons Sweet Spot Learning (SSL), un nouveau cadre fournissant un guidage différencié pour l'optimisation des agents. SSL suit un principe simple mais efficace : des récompenses progressivement amplifiées et hiérarchisées guident les politiques vers la région « sweet spot » de l'espace des solutions. Ce principe s'adapte naturellement à diverses tâches : les tâches de perception visuelle exploitent une modélisation hiérarchique basée sur la distance pour récompenser la proximité, tandis que les tâches de raisonnement complexe récompensent les progrès incrémentaux vers des solutions prometteuses. Nous démontrons théoriquement que SSL préserve l'ordonnancement des solutions optimales et améliore le rapport signal-sur-bruit du gradient, favorisant ainsi une optimisation plus dirigée. Des expériences approfondies sur des tâches de perception d'interface graphique, de planification à court/long terme et de raisonnement complexe montrent des améliorations constantes par rapport à des bases de référence solides sur 12 benchmarks, atteignant des gains d'efficacité d'échantillonnage allant jusqu'à 2,5 fois et une transférabilité inter-tâches effective. Notre travail établit SSL comme un principe général pour l'entraînement d'agents compétents et robustes.
English
Reinforcement learning with verifiable rewards has emerged as a powerful paradigm for training intelligent agents. However, existing methods typically employ binary rewards that fail to capture quality differences among trajectories achieving identical outcomes, thereby overlooking potential diversity within the solution space. Inspired by the ``sweet spot'' concept in tennis-the racket's core region that produces optimal hitting effects, we introduce Sweet Spot Learning (SSL), a novel framework that provides differentiated guidance for agent optimization. SSL follows a simple yet effective principle: progressively amplified, tiered rewards guide policies toward the sweet-spot region of the solution space. This principle naturally adapts across diverse tasks: visual perception tasks leverage distance-tiered modeling to reward proximity, while complex reasoning tasks reward incremental progress toward promising solutions. We theoretically demonstrate that SSL preserves optimal solution ordering and enhances the gradient signal-to-noise ratio, thereby fostering more directed optimization. Extensive experiments across GUI perception, short/long-term planning, and complex reasoning tasks show consistent improvements over strong baselines on 12 benchmarks, achieving up to 2.5X sample efficiency gains and effective cross-task transferability. Our work establishes SSL as a general principle for training capable and robust agents.