CRITIC: Modelos de Linguagem de Grande Escala Podem se Autocorrigir com Críticas Interativas de Ferramentas

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

May 19, 2023

Autores: Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen

cs.AI

Resumo

Os recentes avanços nos modelos de linguagem de grande escala (LLMs) têm sido impressionantes. No entanto, esses modelos às vezes apresentam inconsistências e comportamentos problemáticos, como alucinar fatos, gerar códigos com falhas ou criar conteúdo ofensivo e tóxico. Diferentemente desses modelos, os seres humanos geralmente utilizam ferramentas externas para verificar e refinar seu conteúdo inicial, como usar um mecanismo de busca para verificar fatos ou um interpretador de código para depuração. Inspirados por essa observação, introduzimos um framework chamado CRITIC que permite que LLMs, que são essencialmente "caixas pretas", validem e aprimorem progressivamente suas próprias saídas de maneira semelhante à interação humana com ferramentas. Mais especificamente, começando com uma saída inicial, o CRITIC interage com ferramentas apropriadas para avaliar certos aspectos do texto e, em seguida, revisa a saída com base no feedback obtido durante esse processo de validação. Avaliações abrangentes envolvendo respostas a perguntas de forma livre, síntese de programas matemáticos e redução de toxicidade demonstram que o CRITIC melhora consistentemente o desempenho dos LLMs. Enquanto isso, nossa pesquisa destaca a importância crucial do feedback externo para promover a melhoria contínua dos LLMs.

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.