초인지적 피드백을 활용한 강화 학습이 대규모 언어 모델의 신뢰할 수 있는 불확실성 표현을 이끌어낸다.

초록

메타인지는 자신의 인지 과정을 모니터링하고 조절하는 능력을 설명하는 지능의 핵심 구성 요소이다. 그러나 LLM은 주요 메타인지 능력에서 체계적인 결함을 보인다. 즉, 높은 확신으로 환각을 일으키고, 지식의 경계를 인식하지 못하며, 내부 불확실성을 잘못 표현하여 신뢰성과 의존성을 훼손한다. 과제 수행을 모니터링하고 그에 따라 행동을 조정하는 것은 메타인지의 핵심이므로, 자신의 수행을 정확히 판단할 수 있는 모델이 이를 개선할 더 나은 위치에 있다고 가정한다. 우리는 이 아이디어를 두 가지 새로운 메커니즘을 통해 구현한다. 첫째는 메타인지 피드백을 통한 강화 학습(RLMF)으로, 선호도 최적화 과정에서 모델의 수행에 대한 자기 판단의 질에 기반하여 완성 순위를 개선하는 패러다임이다. 둘째는 메타인지 데이터 선택으로, 유사한 자기 판단을 사용하여 높은 가치의 훈련 예제를 식별하며, 단순 능동 학습보다 우수한 성능을 보인다. 우리는 이러한 혁신을 충실한 보정(FC) 문제에 적용한다. 이 과제는 그 자체로 근본적으로 메타인지적이며, 목표는 표현된 불확실성과 내재적 불확실성을 일치시키는 것으로, 최첨단 LLM에게도 어려운 일이다. 우리는 두 단계로 분리된 접근 방식을 채택한다. 먼저 이러한 방법을 사용하여 모델이 자체 보고한 신뢰도 점수의 충실성을 보정한 다음, 목표 출력 편집을 통해 자연스럽고 맥락에 적응 가능한 언어적 불확실성으로 매핑한다. 광범위한 실험을 통해 RLMF가 정확성을 유지하면서 다양한 과제에서 일반화 가능한 최첨단 FC를 달성함을 보여준다. 또한 RLMF는 표준 RL을 최대 63%까지 능가하면서 모델이 자신의 능력 한계를 평가하고 표현하는 능력을 향상시킨다. 이는 RLMF를 LLM 메타인지를 향상시켜 능력과 정렬을 개선하는 유망한 패러다임으로 자리매김하게 하며, 메타인지 성능이 이전의 내재적 피드백 방법의 한계를 극복하는 효과적인 RL 신호가 될 수 있음을 시사한다.

English

Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one's own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty--undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model's self-judgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models' self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models' ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.