Les grands modèles de langage ne peuvent pas encore s'autocorriger dans leur raisonnement.
Large Language Models Cannot Self-Correct Reasoning Yet
October 3, 2023
papers.authors: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou
cs.AI
papers.abstract
Les modèles de langage de grande taille (LLMs) sont apparus comme une technologie révolutionnaire grâce à leurs capacités inégalées de génération de texte dans diverses applications. Cependant, des préoccupations persistent quant à l'exactitude et à la pertinence de leur contenu généré. Une méthodologie contemporaine, l'auto-correction, a été proposée comme solution à ces problèmes. Sur la base de cette prémisse, cet article examine de manière critique le rôle et l'efficacité de l'auto-correction au sein des LLMs, mettant en lumière son véritable potentiel et ses limites. Au cœur de notre investigation se trouve la notion d'auto-correction intrinsèque, par laquelle un LLM tente de corriger ses réponses initiales en s'appuyant uniquement sur ses capacités inhérentes, sans le soutien de retours externes. Dans le contexte du raisonnement, notre recherche indique que les LLMs peinent à auto-corriger leurs réponses sans retour externe, et que, dans certains cas, leurs performances pourraient même se dégrader après auto-correction. À partir de ces observations, nous proposons des suggestions pour les recherches futures et les applications pratiques dans ce domaine.
English
Large Language Models (LLMs) have emerged as a groundbreaking technology with
their unparalleled text generation capabilities across various applications.
Nevertheless, concerns persist regarding the accuracy and appropriateness of
their generated content. A contemporary methodology, self-correction, has been
proposed as a remedy to these issues. Building upon this premise, this paper
critically examines the role and efficacy of self-correction within LLMs,
shedding light on its true potential and limitations. Central to our
investigation is the notion of intrinsic self-correction, whereby an LLM
attempts to correct its initial responses based solely on its inherent
capabilities, without the crutch of external feedback. In the context of
reasoning, our research indicates that LLMs struggle to self-correct their
responses without external feedback, and at times, their performance might even
degrade post self-correction. Drawing from these insights, we offer suggestions
for future research and practical applications in this field.