Grote Taalmodellen Kunnen Hun Redenering Nog Niet Zelf Corrigeren

Large Language Models Cannot Self-Correct Reasoning Yet

October 3, 2023

Auteurs: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn naar voren gekomen als een baanbrekende technologie met hun ongeëvenaarde tekstgeneratiecapaciteiten in diverse toepassingen. Desalniettemin bestaan er zorgen over de nauwkeurigheid en geschiktheid van de gegenereerde inhoud. Een hedendaagse methodologie, zelfcorrectie, is voorgesteld als een oplossing voor deze problemen. Uitgaande van deze premisse onderzoekt dit artikel kritisch de rol en effectiviteit van zelfcorrectie binnen LLMs, waarbij het licht werpt op het werkelijke potentieel en de beperkingen ervan. Centraal in ons onderzoek staat het concept van intrinsieke zelfcorrectie, waarbij een LLM probeert zijn initiële antwoorden te corrigeren op basis van zijn inherente capaciteiten, zonder de steun van externe feedback. In de context van redeneren toont ons onderzoek aan dat LLMs moeite hebben om hun antwoorden zelf te corrigeren zonder externe feedback, en dat hun prestaties soms zelfs kunnen verslechteren na zelfcorrectie. Op basis van deze inzichten bieden we suggesties voor toekomstig onderzoek en praktische toepassingen op dit gebied.

English

Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance might even degrade post self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.