大規模言語モデルにおけるメタ認知：基礎、進展、そして機会

要旨

メタ認知は、効果的な学習、問題解決、意思決定、コミュニケーションなどに不可欠な知能の基盤的要素である。近年、高性能で透明性の高いAIシステムの中核として、その重要性がますます認識されている。しかし、LLMが多様な実世界タスクで顕著な進歩を遂げている一方で、いつ、どのように、またどの程度まで効果的なメタ認知能力を発揮したり付与されたりできるのか、またそうした能力をどのように応用してAIシステムの基本的な能力、信頼性、知能を向上させることができるのかは、まだ明らかになっていない。本稿は、LLMのメタ認知に関する知識の現状を包括的に概観することで、このギャップを埋める。我々は、この新興分野の研究状況を分析・分類し、LLMのメタ認知能力を測定・評価する手法やベンチマーク、LLMのメタ認知を誘発・改善・応用する技術、進行中の研究の知見と含意など、最近の技術的進歩をまとめる。また、応用、未解決の疑問と課題、そして将来の研究の有望な方向性についても議論する。本稿の目的は、このテーマに関する詳細かつ最新のレビューを提供し、有意義な研究と議論を促進することである。論文の整理されたリストは https://github.com/yale-nlp/LLM-Metacognition で入手できる。

English

Metacognition is a foundational component of intelligence critical to effective learning, problem solving, decision-making, communication, and more. In recent years, it has become increasingly recognized as a cornerstone of capable, transparent AI systems. Yet while LLMs have made significant progress across diverse real-world tasks, it is not yet clear when, how, or to what extent they can exhibit or be endowed with effective metacognitive abilities, nor how such abilities can be adapted to advance the fundamental capabilities, reliability, and intelligence of AI systems. This paper bridges this gap by presenting the first comprehensive overview of the current state of knowledge on metacognition for LLMs. We analyze and taxonomize the landscape of this emerging field and summarize recent technical advancements, including methods and benchmarks to measure and evaluate LLMs' metacognitive abilities, techniques to elicit, improve, and apply metacognition in LLMs, and findings and implications of ongoing research. We also discuss applications, open questions and challenges, and promising directions for future work. Our aim is to provide a detailed and up-to-date review of this topic and stimulate meaningful research and discussion. An organized list of papers can be found at https://github.com/yale-nlp/LLM-Metacognition.