Metacognição em Modelos de Linguagem de Grande Escala: Fundamentos, Progresso e Oportunidades

Resumo

A metacognição é um componente fundamental da inteligência, essencial para a aprendizagem eficaz, resolução de problemas, tomada de decisões, comunicação e muito mais. Nos últimos anos, ela tem sido cada vez mais reconhecida como um pilar para sistemas de IA capazes e transparentes. No entanto, embora os LLMs tenham avançado significativamente em diversas tarefas do mundo real, ainda não está claro quando, como ou em que medida eles podem exibir ou ser dotados de habilidades metacognitivas eficazes, nem como tais habilidades podem ser adaptadas para avançar as capacidades fundamentais, a confiabilidade e a inteligência dos sistemas de IA. Este artigo preenche essa lacuna ao apresentar a primeira visão geral abrangente do estado atual do conhecimento sobre metacognição para LLMs. Analisamos e taxonomizamos o panorama desse campo emergente e resumimos os avanços técnicos recentes, incluindo métodos e referências (benchmarks) para medir e avaliar as habilidades metacognitivas dos LLMs, técnicas para elicitar, melhorar e aplicar a metacognição em LLMs, além de descobertas e implicações de pesquisas em andamento. Também discutimos aplicações, questões em aberto e desafios, bem como direções promissoras para trabalhos futuros. Nosso objetivo é fornecer uma revisão detalhada e atualizada deste tópico e estimular pesquisas e discussões significativas. Uma lista organizada de artigos pode ser encontrada em https://github.com/yale-nlp/LLM-Metacognition.

English

Metacognition is a foundational component of intelligence critical to effective learning, problem solving, decision-making, communication, and more. In recent years, it has become increasingly recognized as a cornerstone of capable, transparent AI systems. Yet while LLMs have made significant progress across diverse real-world tasks, it is not yet clear when, how, or to what extent they can exhibit or be endowed with effective metacognitive abilities, nor how such abilities can be adapted to advance the fundamental capabilities, reliability, and intelligence of AI systems. This paper bridges this gap by presenting the first comprehensive overview of the current state of knowledge on metacognition for LLMs. We analyze and taxonomize the landscape of this emerging field and summarize recent technical advancements, including methods and benchmarks to measure and evaluate LLMs' metacognitive abilities, techniques to elicit, improve, and apply metacognition in LLMs, and findings and implications of ongoing research. We also discuss applications, open questions and challenges, and promising directions for future work. Our aim is to provide a detailed and up-to-date review of this topic and stimulate meaningful research and discussion. An organized list of papers can be found at https://github.com/yale-nlp/LLM-Metacognition.