Zwak-Gestuurd Leren: Hoe Zwakke Agenten Sterke Agenten Sterker Maken
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
Auteurs: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
Samenvatting
Naarmate post-trainingoptimalisatie een centrale rol krijgt bij het verbeteren van grote taalmodel(len), observeren we een hardnekkig saturatieknelpunt: zodra modellen een hoge zekerheid bereiken, leidt verdere training tot afnemende meeropbrengsten. Terwijl bestaande methoden doelvoorspellingen blijven versterken, ontdekken we dat informatieve supervisiesignalen latent aanwezig blijven in de historische zwakke toestanden van de modellen zelf. Gemotiveerd door deze observatie stellen we WMSS voor (Weak Agents Can Make Strong Agents Stronger), een post-trainingparadigma dat zwakke checkpoints benut om de voortgezette optimalisatie te sturen. Door herstelbare leerachterstanden te identificeren via entropiedynamiek en deze te versterken via compensatoir leren, stelt WMSS sterke agents in staat om verder te verbeteren dan conventionele post-trainingssaturatie toelaat. Experimenten op wiskundig redeneren en codegeneratiedatasets tonen aan dat agents getraind met onze aanpak effectieve prestatieverbeteringen bereiken, zonder extra inferentiekosten.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.