ПрогКо: программа помогает самокоррекции больших языковых моделей

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

Авторы: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

Аннотация

Самокоррекция направлена на то, чтобы позволить большим языковым моделям (LLM) самостоятельно проверять и улучшать свои первоначальные ответы без внешней обратной связи. Однако LLM часто не могут эффективно самопроверяться и генерировать правильную обратную связь, что дальше вводит в заблуждение улучшение и приводит к неудаче самокоррекции, особенно в сложных задачах рассуждения. В данной статье мы предлагаем Программно-управляемую Самокоррекцию (ProgCo). Сначала программа-управляемая проверка (ProgVe) достигает сложной логики проверки и обширной валидации через самогенерируемые, самовыполняющиеся псевдопрограммы проверки. Затем программа-управляемое улучшение (ProgRe) получает обратную связь от ProgVe, проводит двойное отражение и улучшение как ответов, так и программ проверки для смягчения введения в заблуждение неправильной обратной связью в сложных задачах рассуждения. Эксперименты на трех бенчмарках по следованию инструкциям и математике показывают, что ProgCo достигает эффективной самокоррекции и может дополнительно улучшить производительность при комбинировании с реальными программными инструментами.

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.