Apprendimento Guidato dal Debole: Come Agenti Deboli Rendono Più Forti gli Agenti Forti
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
Autori: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
Abstract
Man mano che l'ottimizzazione post-addestramento diventa centrale per il miglioramento dei grandi modelli linguistici, osserviamo un persistente collo di bottiglia da saturazione: una volta che i modelli acquisiscono un'elevata confidenza, l'addestramento ulteriore produce rendimenti decrescenti. Mentre i metodi esistenti continuano a rinforzare le previsioni target, scopriamo che segnali di supervisione informativi rimangono latenti negli stati storici deboli dei modelli stessi. Motivati da questa osservazione, proponiamo WMSS (Weak Agents Can Make Strong Agents Stronger), un paradigma di post-addestramento che sfrutta checkpoint deboli per guidare l'ottimizzazione continua. Identificando i gap di apprendimento recuperabili attraverso la dinamica dell'entropia e rinforzandoli mediante apprendimento compensativo, WMSS consente ad agenti forti di migliorare oltre la saturazione convenzionale del post-addestramento. Esperimenti su dataset di ragionamento matematico e generazione di codice mostrano che gli agenti addestrati con il nostro approccio raggiungono miglioramenti prestazionali efficaci, comportando al contempo un costo inferenziale aggiuntivo pari a zero.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.