ProgCo : Programme Aide à l'Auto-Correction des Grands Modèles de Langage

ProgCo: Program Helps Self-Correction of Large Language Models

January 2, 2025

Auteurs: Xiaoshuai Song, Yanan Wu, Weixun Wang, Jiaheng Liu, Wenbo Su, Bo Zheng

cs.AI

Résumé

L'auto-correction vise à permettre aux grands modèles de langage (GML) de s'auto-vérifier et de se perfectionner sans feedback externe. Cependant, les GML échouent souvent à s'auto-vérifier de manière efficace et à générer un feedback correct, ce qui entraîne des raffinements trompeurs et conduit à l'échec de l'auto-correction, notamment dans des tâches de raisonnement complexes. Dans cet article, nous proposons l'Auto-correction pilotée par programme (ProgCo). Tout d'abord, la vérification pilotée par programme (ProgVe) atteint une logique de vérification complexe et une validation étendue grâce à des pseudo-programmes de vérification auto-générés et auto-exécutants. Ensuite, le raffinement piloté par programme (ProgRe) reçoit un feedback de ProgVe, réalise une double réflexion et un raffinement à la fois des réponses et des programmes de vérification pour atténuer les feedbacks incorrects dans des tâches de raisonnement complexes. Des expériences menées sur trois benchmarks d'instructions et de mathématiques indiquent que ProgCo parvient à une auto-correction efficace et peut améliorer ses performances lorsqu'il est combiné à de véritables outils de programmation.

English

Self-Correction aims to enable large language models (LLMs) to self-verify and self-refine their initial responses without external feedback. However, LLMs often fail to effectively self-verify and generate correct feedback, further misleading refinement and leading to the failure of self-correction, especially in complex reasoning tasks. In this paper, we propose Program-driven Self-Correction (ProgCo). First, program-driven verification (ProgVe) achieves complex verification logic and extensive validation through self-generated, self-executing verification pseudo-programs. Then, program-driven refinement (ProgRe) receives feedback from ProgVe, conducts dual reflection and refinement on both responses and verification programs to mitigate misleading of incorrect feedback in complex reasoning tasks. Experiments on three instruction-following and mathematical benchmarks indicate that ProgCo achieves effective self-correction, and can be further enhance performance when combined with real program tools.