Metacognición en LLMs: Fundamentos, Avances y Oportunidades

Resumen

La metacognición es un componente fundamental de la inteligencia, esencial para el aprendizaje efectivo, la resolución de problemas, la toma de decisiones, la comunicación y más. En los últimos años, se ha reconocido cada vez más como una piedra angular de sistemas de IA capaces y transparentes. Sin embargo, aunque los LLMs han logrado avances significativos en diversas tareas del mundo real, aún no está claro cuándo, cómo o en qué medida pueden exhibir o estar dotados de habilidades metacognitivas efectivas, ni cómo dichas habilidades pueden adaptarse para mejorar las capacidades fundamentales, la fiabilidad y la inteligencia de los sistemas de IA. Este artículo aborda esta brecha presentando la primera visión general completa del estado actual del conocimiento sobre metacognición para LLMs. Analizamos y taxonomizamos el panorama de este campo emergente y resumimos los avances técnicos recientes, incluyendo métodos y puntos de referencia para medir y evaluar las habilidades metacognitivas de los LLMs, técnicas para obtener, mejorar y aplicar la metacognición en LLMs, y hallazgos e implicaciones de la investigación en curso. También discutimos aplicaciones, preguntas abiertas y desafíos, así como direcciones prometedoras para trabajos futuros. Nuestro objetivo es proporcionar una revisión detallada y actualizada de este tema y estimular una investigación y discusión significativas. Se puede encontrar una lista organizada de artículos en https://github.com/yale-nlp/LLM-Metacognition.

English

Metacognition is a foundational component of intelligence critical to effective learning, problem solving, decision-making, communication, and more. In recent years, it has become increasingly recognized as a cornerstone of capable, transparent AI systems. Yet while LLMs have made significant progress across diverse real-world tasks, it is not yet clear when, how, or to what extent they can exhibit or be endowed with effective metacognitive abilities, nor how such abilities can be adapted to advance the fundamental capabilities, reliability, and intelligence of AI systems. This paper bridges this gap by presenting the first comprehensive overview of the current state of knowledge on metacognition for LLMs. We analyze and taxonomize the landscape of this emerging field and summarize recent technical advancements, including methods and benchmarks to measure and evaluate LLMs' metacognitive abilities, techniques to elicit, improve, and apply metacognition in LLMs, and findings and implications of ongoing research. We also discuss applications, open questions and challenges, and promising directions for future work. Our aim is to provide a detailed and up-to-date review of this topic and stimulate meaningful research and discussion. An organized list of papers can be found at https://github.com/yale-nlp/LLM-Metacognition.