SSL: Sweet-Spot-Lernen für differenzierte Steuerung in agentenbasierter Optimierung

SSL: Sweet Spot Learning for Differentiated Guidance in Agentic Optimization

January 30, 2026

papers.authors: Jinyang Wu, Changpeng Yang, Yuhao Shen, Fangzhi Xu, Bolin Ni, Chonghua Liao, Yuchen Liu, Hongzhen Wang, Shuai Nie, Shuai Zhang, Haoran Luo, Jiaming Xu

cs.AI

papers.abstract

Verstärkendes Lernen mit verifizierbaren Belohnungen hat sich als leistungsstarkes Paradigma für das Trainieren intelligenter Agenten etabliert. Bisherige Methoden verwenden jedoch typischerweise binäre Belohnungen, die Qualitätsunterschiede zwischen Trajektorien mit identischen Ergebnissen nicht erfassen können und dadurch potenzielle Vielfalt im Lösungsraum übersehen. Inspiriert vom „Sweet Spot“-Konzept im Tennis – der zentralen Region des Schlägers, die optimale Schlageffekte erzeugt – führen wir Sweet Spot Learning (SSL) ein, einen neuartigen Rahmen, der differenzierte Leitlinien für die Agentenoptimierung bietet. SSL folgt einem einfachen, aber effektiven Prinzip: progressiv verstärkte, gestaffelte Belohnungen lenken die Policy in Richtung der Sweet-Spot-Region des Lösungsraums. Dieses Prinzip passt sich natürlich verschiedenen Aufgaben an: visuelle Wahrnehmungsaufgaben nutzen distanzgestaffelte Modellierung, um Nähe zu belohnen, während komplexe Reasoning-Aufgaben schrittweise Fortschritte in Richtung vielversprechender Lösungen honorieren. Wir zeigen theoretisch, dass SSL die Ordnung optimaler Lösungen bewahrt und das Gradienten-Signal-Rausch-Verhältnis verbessert, wodurch eine zielgerichtetere Optimierung gefördert wird. Umfangreiche Experimente in den Bereichen GUI-Wahrnehmung, Kurz-/Langzeitplanung und komplexem Reasoning zeigen konsistente Verbesserungen gegenüber starken Baseline-Modellen auf 12 Benchmarks, mit bis zu 2,5-fachen Steigerungen der Probeneffizienz und effektiver übertragbarer Leistung zwischen Aufgaben. Unsere Arbeit etabliert SSL als allgemeingültiges Prinzip für das Training leistungsfähiger und robuster Agenten.

English

Reinforcement learning with verifiable rewards has emerged as a powerful paradigm for training intelligent agents. However, existing methods typically employ binary rewards that fail to capture quality differences among trajectories achieving identical outcomes, thereby overlooking potential diversity within the solution space. Inspired by the ``sweet spot'' concept in tennis-the racket's core region that produces optimal hitting effects, we introduce Sweet Spot Learning (SSL), a novel framework that provides differentiated guidance for agent optimization. SSL follows a simple yet effective principle: progressively amplified, tiered rewards guide policies toward the sweet-spot region of the solution space. This principle naturally adapts across diverse tasks: visual perception tasks leverage distance-tiered modeling to reward proximity, while complex reasoning tasks reward incremental progress toward promising solutions. We theoretically demonstrate that SSL preserves optimal solution ordering and enhances the gradient signal-to-noise ratio, thereby fostering more directed optimization. Extensive experiments across GUI perception, short/long-term planning, and complex reasoning tasks show consistent improvements over strong baselines on 12 benchmarks, achieving up to 2.5X sample efficiency gains and effective cross-task transferability. Our work establishes SSL as a general principle for training capable and robust agents.