CRITIC : Les grands modèles de langage peuvent s'auto-corriger grâce à une critique interactive avec des outils

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

May 19, 2023

Auteurs: Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen

cs.AI

Résumé

Les récents développements des grands modèles de langage (LLMs) ont été impressionnants. Cependant, ces modèles présentent parfois des incohérences et des comportements problématiques, tels que l'invention de faits, la génération de code défectueux ou la création de contenu offensant et toxique. Contrairement à ces modèles, les humains utilisent généralement des outils externes pour vérifier et affiner leur contenu initial, comme un moteur de recherche pour la vérification des faits ou un interpréteur de code pour le débogage. Inspirés par cette observation, nous introduisons un cadre appelé CRITIC qui permet aux LLMs, essentiellement des "boîtes noires", de valider et d'améliorer progressivement leurs propres sorties de manière similaire à l'interaction humaine avec des outils. Plus précisément, en partant d'une sortie initiale, CRITIC interagit avec des outils appropriés pour évaluer certains aspects du texte, puis révise la sortie en fonction des retours obtenus lors de ce processus de validation. Des évaluations approfondies impliquant des réponses à des questions libres, la synthèse de programmes mathématiques et la réduction de la toxicité démontrent que CRITIC améliore systématiquement les performances des LLMs. Parallèlement, notre recherche met en lumière l'importance cruciale des retours externes pour favoriser l'amélioration continue des LLMs.

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.