Apprentissage par Entraînement Faible : Comment des Agents Faibles Rendent des Agents Forts Plus Performants
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
papers.authors: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
papers.abstract
Alors que l'optimisation post-entraînement devient centrale pour l'amélioration des grands modèles de langage, nous observons un goulot d'étranglement persistant de saturation : une fois que les modèles deviennent très confiants, tout entraînement supplémentaire produit des rendements décroissants. Si les méthodes existantes continuent de renforcer les prédictions cibles, nous constatons que des signaux de supervision informatifs demeurent latents dans les états historiquement faibles des modèles eux-mêmes. Motivés par cette observation, nous proposons WMSS (Des Agents Faibles Peut Rendre des Agents Forts Plus Forts), un paradigme post-entraînement qui exploite des points de contrôle faibles pour guider l'optimisation continue. En identifiant les écarts d'apprentissage récupérables via la dynamique de l'entropie et en les renforçant par un apprentissage compensatoire, WMSS permet à des agents performants de s'améliorer au-delà de la saturation conventionnelle post-entraînement. Les expériences sur des ensembles de données de raisonnement mathématique et de génération de code montrent que les agents entraînés avec notre approche obtiennent des améliorations de performance efficaces, sans engendrer de coût d'inférence supplémentaire.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.