SSL: Aprendizaje del Punto Óptimo para una Guía Diferenciada en la Optimización de Agentes

SSL: Sweet Spot Learning for Differentiated Guidance in Agentic Optimization

January 30, 2026

Autores: Jinyang Wu, Changpeng Yang, Yuhao Shen, Fangzhi Xu, Bolin Ni, Chonghua Liao, Yuchen Liu, Hongzhen Wang, Shuai Nie, Shuai Zhang, Haoran Luo, Jiaming Xu

cs.AI

Resumen

El aprendizaje por refuerzo con recompensas verificables ha surgido como un paradigma poderoso para entrenar agentes inteligentes. Sin embargo, los métodos existentes suelen emplear recompensas binarias que no logran capturar las diferencias de calidad entre trayectorias que alcanzan resultados idénticos, pasando así por alto la diversidad potencial dentro del espacio de soluciones. Inspirados por el concepto del "punto dulce" en el tenis —la región central de la raqueta que produce efectos de golpe óptimos—, presentamos Sweet Spot Learning (SSL), un marco novedoso que proporciona una guía diferenciada para la optimización de agentes. SSL sigue un principio simple pero efectivo: recompensas escalonadas y progresivamente amplificadas guían las políticas hacia la región del punto dulce del espacio de soluciones. Este principio se adapta naturalmente a diversas tareas: las tareas de percepción visual aprovechan el modelado por niveles de distancia para recompensar la proximidad, mientras que las tareas de razonamiento complejo recompensan el progreso incremental hacia soluciones prometedoras. Demostramos teóricamente que SSL preserva el orden óptimo de las soluciones y mejora la relación señal-ruido del gradiente, fomentando así una optimización más dirigida. Experimentos exhaustivos en tareas de percepción GUI, planificación a corto/largo plazo y razonamiento complejo muestran mejoras consistentes respecto a líneas de base sólidas en 12 benchmarks, logrando ganancias de eficiencia muestral de hasta 2.5X y una transferibilidad efectiva entre tareas. Nuestro trabajo establece a SSL como un principio general para entrenar agentes capaces y robustos.

English

Reinforcement learning with verifiable rewards has emerged as a powerful paradigm for training intelligent agents. However, existing methods typically employ binary rewards that fail to capture quality differences among trajectories achieving identical outcomes, thereby overlooking potential diversity within the solution space. Inspired by the ``sweet spot'' concept in tennis-the racket's core region that produces optimal hitting effects, we introduce Sweet Spot Learning (SSL), a novel framework that provides differentiated guidance for agent optimization. SSL follows a simple yet effective principle: progressively amplified, tiered rewards guide policies toward the sweet-spot region of the solution space. This principle naturally adapts across diverse tasks: visual perception tasks leverage distance-tiered modeling to reward proximity, while complex reasoning tasks reward incremental progress toward promising solutions. We theoretically demonstrate that SSL preserves optimal solution ordering and enhances the gradient signal-to-noise ratio, thereby fostering more directed optimization. Extensive experiments across GUI perception, short/long-term planning, and complex reasoning tasks show consistent improvements over strong baselines on 12 benchmarks, achieving up to 2.5X sample efficiency gains and effective cross-task transferability. Our work establishes SSL as a general principle for training capable and robust agents.