Modelos de Linguagem de Grande Escala Ainda Não Podem Autocorrigir o Raciocínio

Large Language Models Cannot Self-Correct Reasoning Yet

October 3, 2023

Autores: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) surgiram como uma tecnologia revolucionária, com suas capacidades incomparáveis de geração de texto em diversas aplicações. No entanto, persistem preocupações quanto à precisão e adequação do conteúdo gerado por eles. Uma metodologia contemporânea, a autocorreção, foi proposta como uma solução para esses problemas. Com base nessa premissa, este artigo examina criticamente o papel e a eficácia da autocorreção nos LLMs, destacando seu verdadeiro potencial e limitações. Central para nossa investigação é a noção de autocorreção intrínseca, em que um LLM tenta corrigir suas respostas iniciais com base apenas em suas capacidades inerentes, sem o suporte de feedback externo. No contexto de raciocínio, nossa pesquisa indica que os LLMs têm dificuldade em autocorrigir suas respostas sem feedback externo e, em alguns casos, seu desempenho pode até se degradar após a autocorreção. A partir dessas descobertas, oferecemos sugestões para pesquisas futuras e aplicações práticas nesse campo.

English

Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance might even degrade post self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.