ProgCo: Programm unterstützt die Selbstkorrektur großer Sprachmodelle

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

Autoren: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

Zusammenfassung

Die Selbstkorrektur zielt darauf ab, großen Sprachmodellen (LLMs) zu ermöglichen, ihre anfänglichen Antworten selbst zu überprüfen und zu verfeinern, ohne externes Feedback. Allerdings scheitern LLMs oft daran, sich effektiv selbst zu überprüfen und korrektes Feedback zu generieren, was zu irreführender Verfeinerung und letztendlich zum Scheitern der Selbstkorrektur führt, insbesondere bei komplexen Denkaufgaben. In diesem Paper schlagen wir das Programmgesteuerte Selbstkorrektur (ProgCo) vor. Zunächst erreicht die programmgesteuerte Überprüfung (ProgVe) komplexe Überprüfungslogik und umfangreiche Validierung durch selbstgenerierte, selbstausführende Überprüfungspseudoprogramme. Anschließend erhält die programmgesteuerte Verfeinerung (ProgRe) Feedback von ProgVe, führt eine doppelte Reflexion und Verfeinerung sowohl der Antworten als auch der Überprüfungsprogramme durch, um die irreführende Wirkung falscher Rückmeldungen bei komplexen Denkaufgaben zu mildern. Experimente an drei Anweisungsfolge- und mathematischen Benchmarks zeigen, dass ProgCo eine effektive Selbstkorrektur erreicht und die Leistung weiter verbessert werden kann, wenn es mit echten Programmwerkzeugen kombiniert wird.

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.