Обучение с подкреплением с метакогнитивной обратной связью способствует достоверному выражению неопределенности в больших языковых моделях

Аннотация

Метакогниция является критическим компонентом интеллекта, описывающим способность отслеживать и регулировать собственные когнитивные процессы. Однако большие языковые модели (LLM) демонстрируют системные недостатки в ключевых метакогнитивных способностях: они галлюцинируют с высокой уверенностью, не распознают границы собственных знаний и искажают внутреннюю неопределенность — что подрывает их надежность и достоверность. Поскольку мониторинг производительности при выполнении задач и адаптация поведения на его основе являются центральными для метакогниции, мы предполагаем, что модели, способные точно оценивать собственную производительность, имеют больше возможностей для её улучшения. Мы операционализируем эту идею с помощью двух новых механизмов: обучения с подкреплением с метакогнитивной обратной связью (RLMF) — парадигмы для уточнения ранжирования завершений во время оптимизации предпочтений на основе качества самооценки моделью собственной производительности — и метакогнитивного отбора данных, который использует аналогичные самооценки для выявления высокоценных обучающих примеров, превосходя наивное активное обучение. Мы применяем эти инновации к задаче верной калибровки (FC), которая сама по себе является фундаментально метакогнитивной: цель состоит в согласовании выражаемой неопределенности с внутренней — это трудно даже для передовых LLM. Мы принимаем двухэтапный развязанный подход, сначала используя эти методы для калибровки достоверности сообщаемых моделью показателей уверенности, а затем переходя к естественной, контекстно-адаптируемой лингвистической неопределенности посредством целенаправленного редактирования выходных данных. Обширные эксперименты показывают, что RLMF достигает обобщаемой, передовой верной калибровки на разнообразных задачах, сохраняя при этом точность. Более того, RLMF превосходит стандартное обучение с подкреплением на величину до 63%, одновременно улучшая способность моделей оценивать и выражать собственные границы возможностей. Это позиционирует RLMF как перспективную парадигму для улучшения метакогниции LLM с целью повышения их способностей и согласованности, а также предполагает, что метакогнитивная производительность может служить эффективным сигналом подкрепления для преодоления ограничений предыдущих методов внутренней обратной связи.

English

Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one's own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty--undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model's self-judgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models' self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models' ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.