Aprendizaje por Refuerzo con Retroalimentación Metacognitiva Genera una Expresión Fiel de Incertidumbre en los LLMs

Resumen

La metacognición es un componente crítico de la inteligencia que describe la capacidad de monitorear y regular los propios procesos cognitivos. Sin embargo, los modelos de lenguaje de gran escala (LLM) presentan deficiencias sistémicas en facultades metacognitivas clave: alucinan con alta confianza, no logran reconocer los límites de su conocimiento y representan incorrectamente su incertidumbre interna, lo que socava su fiabilidad y confiabilidad. Dado que monitorear el rendimiento en las tareas y adaptar el comportamiento en consecuencia es central para la metacognición, postulamos que los modelos capaces de juzgar con precisión su propio rendimiento están mejor posicionados para mejorarlo. Operacionalizamos esta idea mediante dos mecanismos novedosos: aprendizaje por refuerzo con retroalimentación metacognitiva (RLMF), un paradigma para refinar la clasificación de completaciones durante la optimización de preferencias basándose en la calidad de los autojuicios de rendimiento del modelo; y selección de datos metacognitiva, que utiliza autojuicios similares para identificar ejemplos de entrenamiento de alto valor, superando al aprendizaje activo ingenuo. Aplicamos estas innovaciones al problema de la calibración fiel (FC), una tarea que en sí misma es fundamentalmente metacognitiva: el objetivo es alinear la incertidumbre expresada con la intrínseca, algo incluso difícil para los LLM de frontera. Adoptamos un enfoque desacoplado en dos etapas: primero, usamos estos métodos para calibrar la fidelidad de las puntuaciones de confianza autoinformadas por los modelos; luego, las mapeamos a una incertidumbre lingüística natural y adaptable al contexto mediante edición dirigida de salidas. Experimentos exhaustivos muestran que RLMF logra una FC generalizable y de vanguardia en diversas tareas, preservando la precisión. Además, RLMF supera al RL estándar en hasta un 63% al tiempo que mejora la capacidad de los modelos para evaluar y expresar sus propios límites de capacidad. Esto posiciona a RLMF como un paradigma prometedor para mejorar la metacognición de los LLM hacia mejores habilidades y alineación, y sugiere que el rendimiento metacognitivo es una señal efectiva de RL para superar las limitaciones de los métodos previos de retroalimentación intrínseca.

English

Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one's own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty--undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model's self-judgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models' self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models' ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.