SSL: Обучение в точке оптимальной эффективности для дифференцированного управления в агентной оптимизации

SSL: Sweet Spot Learning for Differentiated Guidance in Agentic Optimization

January 30, 2026

Авторы: Jinyang Wu, Changpeng Yang, Yuhao Shen, Fangzhi Xu, Bolin Ni, Chonghua Liao, Yuchen Liu, Hongzhen Wang, Shuai Nie, Shuai Zhang, Haoran Luo, Jiaming Xu

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями стало мощной парадигмой для тренировки интеллектуальных агентов. Однако существующие методы обычно используют бинарные вознаграждения, которые не способны уловить различия в качестве траекторий, достигающих идентичных результатов, тем самым упуская из виду потенциальное разнообразие в пространстве решений. Вдохновлённые концепцией «сладкого пятна» в теннисе — центральной области ракетки, обеспечивающей оптимальный ударный эффект, — мы представляем Sweet Spot Learning (SSL), новую структуру, которая предоставляет дифференцированное руководство для оптимизации агента. SSL следует простому, но эффективному принципу: прогрессивно усиливающиеся, многоуровневые вознаграждения направляют политики к области «сладкого пятна» в пространстве решений. Этот принцип естественным образом адаптируется к разнообразным задачам: задачи визуального восприятия используют дистанционно-уровневое моделирование для вознаграждения близости, в то время как сложные логические задачи вознаграждают инкрементальный прогресс в направлении перспективных решений. Теоретически мы демонстрируем, что SSL сохраняет оптимальный порядок решений и усиливает отношение сигнал/шум градиента, тем самым способствуя более направленной оптимизации. Многочисленные эксперименты на задачах GUI-восприятия, краткосрочного/долгосрочного планирования и сложных логических рассуждений показывают стабильное улучшение по сравнению с сильными базовыми уровнями на 12 бенчмарках, достигая до 2.5-кратного повышения эффективности использования выборок и эффективной межзадачной переносимости. Наша работа утверждает SSL в качестве общего принципа для обучения способных и устойчивых агентов.

English

Reinforcement learning with verifiable rewards has emerged as a powerful paradigm for training intelligent agents. However, existing methods typically employ binary rewards that fail to capture quality differences among trajectories achieving identical outcomes, thereby overlooking potential diversity within the solution space. Inspired by the ``sweet spot'' concept in tennis-the racket's core region that produces optimal hitting effects, we introduce Sweet Spot Learning (SSL), a novel framework that provides differentiated guidance for agent optimization. SSL follows a simple yet effective principle: progressively amplified, tiered rewards guide policies toward the sweet-spot region of the solution space. This principle naturally adapts across diverse tasks: visual perception tasks leverage distance-tiered modeling to reward proximity, while complex reasoning tasks reward incremental progress toward promising solutions. We theoretically demonstrate that SSL preserves optimal solution ordering and enhances the gradient signal-to-noise ratio, thereby fostering more directed optimization. Extensive experiments across GUI perception, short/long-term planning, and complex reasoning tasks show consistent improvements over strong baselines on 12 benchmarks, achieving up to 2.5X sample efficiency gains and effective cross-task transferability. Our work establishes SSL as a general principle for training capable and robust agents.