Слабое управляемое обучение: как слабые агенты делают сильных агентов сильнее
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
Авторы: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
Аннотация
По мере того как посттренировочная оптимизация становится ключевым методом улучшения больших языковых моделей, мы наблюдаем устойчивое узкое место в виде насыщения: как только модели достигают высокой уверенности, дальнейшее обучение приносит diminishing returns. В то время как существующие методы продолжают усиливать целевые предсказания, мы обнаруживаем, что информативные сигналы обучения остаются скрытыми в собственных исторических слабых состояниях моделей. Руководствуясь этим наблюдением, мы предлагаем WMSS (Weak Agents Can Make Strong Agents Stronger — слабые агенты могут сделать сильных агентов сильнее), парадигму посттренировочного обучения, которая использует слабые контрольные точки для направления дальнейшей оптимизации. Выявляя восполнимые пробелы в обучении с помощью анализа динамики энтропии и устраняя их с помощью компенсаторного обучения, WMSS позволяет сильным агентам улучшаться за пределами обычного посттренировочного насыщения. Эксперименты на наборах данных по математическим рассуждениям и генерации кода показывают, что агенты, обученные с помощью нашего подхода, достигают значительного улучшения производительности, не требуя при этом никаких дополнительных затрат на вывод.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.