CDE: Exploración Guiada por la Curiosidad para el Aprendizaje por Refuerzo Eficiente en Modelos de Lenguaje a Gran Escala

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) es un paradigma poderoso para mejorar la capacidad de razonamiento de los Modelos de Lenguaje a Gran Escala (LLMs). Sin embargo, los métodos actuales de RLVR suelen explorar de manera deficiente, lo que lleva a una convergencia prematura y al colapso de la entropía. Para abordar este desafío, presentamos la Exploración Guiada por la Curiosidad (CDE, por sus siglas en inglés), un marco que aprovecha el sentido intrínseco de curiosidad del modelo para guiar la exploración. Formalizamos la curiosidad mediante señales tanto del actor como del crítico: para el actor, utilizamos la perplejidad sobre su respuesta generada, y para el crítico, empleamos la varianza de las estimaciones de valor de una arquitectura de múltiples cabezas. Ambas señales sirven como una bonificación de exploración dentro del marco de RLVR para guiar al modelo. Nuestro análisis teórico muestra que la bonificación del actor penaliza inherentemente los errores de sobreconfianza y promueve la diversidad entre las respuestas correctas; además, conectamos la bonificación del crítico con la bien establecida bonificación de exploración basada en conteos en el aprendizaje por refuerzo. Empíricamente, nuestro método logra una mejora aproximada de +3 puntos sobre el RLVR estándar utilizando GRPO/PPO en los benchmarks de AIME. Un análisis adicional identifica un mecanismo de colapso de calibración dentro de RLVR, arrojando luz sobre los modos de falla comunes de los LLMs.

English

Reinforcement Learning with Verifiable Rewards (RLVR) is a powerful paradigm for enhancing the reasoning ability of Large Language Models (LLMs). Yet current RLVR methods often explore poorly, leading to premature convergence and entropy collapse. To address this challenge, we introduce Curiosity-Driven Exploration (CDE), a framework that leverages the model's own intrinsic sense of curiosity to guide exploration. We formalize curiosity with signals from both the actor and the critic: for the actor, we use perplexity over its generated response, and for the critic, we use the variance of value estimates from a multi-head architecture. Both signals serve as an exploration bonus within the RLVR framework to guide the model. Our theoretical analysis shows that the actor-wise bonus inherently penalizes overconfident errors and promotes diversity among correct responses; moreover, we connect the critic-wise bonus to the well-established count-based exploration bonus in RL. Empirically, our method achieves an approximate +3 point improvement over standard RLVR using GRPO/PPO on AIME benchmarks. Further analysis identifies a calibration collapse mechanism within RLVR, shedding light on common LLM failure modes.

CDE: Exploración Guiada por la Curiosidad para el Aprendizaje por Refuerzo Eficiente en Modelos de Lenguaje a Gran Escala

CDE: Curiosity-Driven Exploration for Efficient Reinforcement Learning in Large Language Models

Resumen

Support