Métacognition dans les LLMs : fondements, progrès et opportunités

Résumé

La métacognition est une composante fondamentale de l'intelligence, essentielle pour un apprentissage efficace, la résolution de problèmes, la prise de décision, la communication, et plus encore. Ces dernières années, elle a été de plus en plus reconnue comme une pierre angulaire des systèmes d'IA performants et transparents. Pourtant, bien que les LLM aient réalisé des progrès significatifs dans diverses tâches du monde réel, il n'est pas encore clair quand, comment ou dans quelle mesure ils peuvent manifester ou être dotés de capacités métacognitives efficaces, ni comment ces capacités peuvent être adaptées pour améliorer les capacités fondamentales, la fiabilité et l'intelligence des systèmes d'IA. Cet article comble ce fossé en présentant la première vue d'ensemble complète de l'état actuel des connaissances sur la métacognition pour les LLM. Nous analysons et catégorisons le paysage de ce domaine émergent et résumons les avancées techniques récentes, y compris les méthodes et benchmarks pour mesurer et évaluer les capacités métacognitives des LLM, les techniques pour susciter, améliorer et appliquer la métacognition dans les LLM, ainsi que les résultats et implications des recherches en cours. Nous discutons également des applications, des questions ouvertes et des défis, ainsi que des directions prometteuses pour les travaux futurs. Notre objectif est de fournir une revue détaillée et à jour de ce sujet et de stimuler une recherche et une discussion significatives. Une liste organisée d'articles est disponible sur https://github.com/yale-nlp/LLM-Metacognition.

English

Metacognition is a foundational component of intelligence critical to effective learning, problem solving, decision-making, communication, and more. In recent years, it has become increasingly recognized as a cornerstone of capable, transparent AI systems. Yet while LLMs have made significant progress across diverse real-world tasks, it is not yet clear when, how, or to what extent they can exhibit or be endowed with effective metacognitive abilities, nor how such abilities can be adapted to advance the fundamental capabilities, reliability, and intelligence of AI systems. This paper bridges this gap by presenting the first comprehensive overview of the current state of knowledge on metacognition for LLMs. We analyze and taxonomize the landscape of this emerging field and summarize recent technical advancements, including methods and benchmarks to measure and evaluate LLMs' metacognitive abilities, techniques to elicit, improve, and apply metacognition in LLMs, and findings and implications of ongoing research. We also discuss applications, open questions and challenges, and promising directions for future work. Our aim is to provide a detailed and up-to-date review of this topic and stimulate meaningful research and discussion. An organized list of papers can be found at https://github.com/yale-nlp/LLM-Metacognition.