Los Modelos de Lenguaje de Gran Escala Aún No Pueden Autocorregir su Razonamiento

Large Language Models Cannot Self-Correct Reasoning Yet

October 3, 2023

Autores: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han surgido como una tecnología revolucionaria gracias a sus capacidades sin precedentes para generar texto en diversas aplicaciones. Sin embargo, persisten preocupaciones sobre la precisión y adecuación del contenido que generan. Una metodología contemporánea, la autocorrección, se ha propuesto como una solución a estos problemas. Partiendo de esta premisa, este artículo examina críticamente el papel y la eficacia de la autocorrección en los LLMs, arrojando luz sobre su verdadero potencial y limitaciones. Central a nuestra investigación es la noción de autocorrección intrínseca, mediante la cual un LLM intenta corregir sus respuestas iniciales utilizando únicamente sus capacidades inherentes, sin depender de retroalimentación externa. En el contexto del razonamiento, nuestra investigación indica que los LLMs tienen dificultades para autocorregir sus respuestas sin retroalimentación externa y, en ocasiones, su rendimiento incluso puede deteriorarse después de la autocorrección. A partir de estos hallazgos, ofrecemos sugerencias para futuras investigaciones y aplicaciones prácticas en este campo.

English

Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance might even degrade post self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.