CRITIC: Los Modelos de Lenguaje de Gran Escala Pueden Autocorregirse con Críticas Interactivas de Herramientas

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

May 19, 2023

Autores: Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han sido impresionantes. Sin embargo, estos modelos a veces muestran inconsistencias y comportamientos problemáticos, como inventar hechos, generar código defectuoso o crear contenido ofensivo y tóxico. A diferencia de estos modelos, los seres humanos suelen utilizar herramientas externas para verificar y refinar su contenido inicial, como usar un motor de búsqueda para verificar hechos o un intérprete de código para depurar. Inspirados por esta observación, presentamos un marco llamado CRITIC que permite a los LLMs, que son esencialmente "cajas negras", validar y mejorar progresivamente sus propias salidas de manera similar a la interacción humana con herramientas. Más específicamente, partiendo de una salida inicial, CRITIC interactúa con las herramientas adecuadas para evaluar ciertos aspectos del texto y luego revisa la salida basándose en la retroalimentación obtenida durante este proceso de validación. Evaluaciones exhaustivas que incluyen respuestas a preguntas de formato libre, síntesis de programas matemáticos y reducción de toxicidad demuestran que CRITIC mejora consistentemente el rendimiento de los LLMs. Mientras tanto, nuestra investigación destaca la importancia crucial de la retroalimentación externa para promover la mejora continua de los LLMs.

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.