Aprendizaje Impulsado por Agentes Débiles: Cómo los Agentes Débiles Fortalecen a los Agentes Fuertes
Weak-Driven Learning: How Weak Agents make Strong Agents Stronger
February 9, 2026
Autores: Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban
cs.AI
Resumen
A medida que la optimización posterior al entrenamiento se vuelve central para mejorar los modelos de lenguaje grandes, observamos un cuello de botella persistente de saturación: una vez que los modelos alcanzan una alta confianza, el entrenamiento adicional produce rendimientos decrecientes. Mientras que los métodos existentes continúan reforzando las predicciones objetivo, encontramos que las señales de supervisión informativas permanecen latentes en los propios estados históricos débiles de los modelos. Motivados por esta observación, proponemos WMSS (Agentes Débiles Pueden Hacer más Fuertes a los Agentes Fuertes), un paradigma de entrenamiento posterior que aprovecha los puntos de control débiles para guiar la optimización continua. Al identificar brechas de aprendizaje recuperables mediante la dinámica de entropía y reforzarlas a través de un aprendizaje compensatorio, WMSS permite que los agentes fuertes mejoren más allá de la saturación convencional posterior al entrenamiento. Los experimentos en conjuntos de datos de razonamiento matemático y generación de código muestran que los agentes entrenados con nuestro enfoque logran mejoras de rendimiento efectivas, mientras incurren en un costo de inferencia adicional nulo.
English
As post-training optimization becomes central to improving large language models, we observe a persistent saturation bottleneck: once models grow highly confident, further training yields diminishing returns. While existing methods continue to reinforce target predictions, we find that informative supervision signals remain latent in models' own historical weak states. Motivated by this observation, we propose WMSS (Weak Agents Can Make Strong Agents Stronger), a post-training paradigm that leverages weak checkpoints to guide continued optimization. By identifying recoverable learning gaps via entropy dynamics and reinforcing them through compensatory learning, WMSS enables strong agents to improve beyond conventional post-training saturation. Experiments on mathematical reasoning and code generation datasets show that agents trained with our approach achieve effective performance improvements, while incurring zero additional inference cost.