Schwachgetriebenes Lernen: Wie schwache Agenten starke Agenten stärker machen
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
papers.authors: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
papers.abstract
Da nachträgliches Training zunehmend zentral für die Verbesserung großer Sprachmodelle wird, beobachten wir einen anhaltenden Sättigungsengpass: Sobald Modelle eine hohe Konfidenz erreichen, bringt weiteres Training abnehmende Grenzerträge. Während bestehende Methoden weiterhin Zielvorhersagen verstärken, finden wir, dass informative Überwachungssignale in den eigenen historischen Schwachzuständen der Modelle latent vorhanden bleiben. Angeregt durch diese Beobachtung schlagen wir WMSS (Weak Agents Can Make Strong Agents Stronger – Schwache Agenten können starke Agenten stärker machen) vor, ein Nachtraining-Paradigma, das schwache Checkpoints nutzt, um die weitere Optimierung zu steuern. Durch die Identifikation von behebbaren Lernlücken mittels Entropiedynamik und deren Verstärkung durch kompensatorisches Lernen ermöglicht WMSS starken Agenten, sich über die konventionelle Nachtrainingssättigung hinaus zu verbessern. Experimente mit mathematischen Reasoning- und Codegenerierungs-Datensätzen zeigen, dass mit unserem Ansatz trainierte Agenten effektive Leistungssteigerungen erzielen, ohne zusätzliche Inferenzkosten zu verursachen.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.