CRITIC: Grote Taalmodellen Kunnen Zelf Corrigeren met Tool-Interactieve Kritiek

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

May 19, 2023

Auteurs: Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen

cs.AI

Samenvatting

Recente ontwikkelingen in grote taalmodellen (LLMs) zijn indrukwekkend. Echter, deze modellen vertonen soms inconsistenties en problematisch gedrag, zoals het verzinnen van feiten, het genereren van foutieve code, of het creëren van aanstootgevende en giftige inhoud. In tegenstelling tot deze modellen, maken mensen doorgaans gebruik van externe tools om hun initiële inhoud te controleren en te verfijnen, zoals het gebruik van een zoekmachine voor feitencontrole, of een code-interpreter voor debugging. Geïnspireerd door deze observatie introduceren we een raamwerk genaamd CRITIC dat LLMs, die in wezen "black boxes" zijn, in staat stelt om hun eigen uitvoer te valideren en progressief te verbeteren op een manier die vergelijkbaar is met menselijke interactie met tools. Meer specifiek, beginnend met een initiële uitvoer, interageert CRITIC met geschikte tools om bepaalde aspecten van de tekst te evalueren, en reviseert vervolgens de uitvoer op basis van de feedback die tijdens dit validatieproces wordt verkregen. Uitgebreide evaluaties met betrekking tot vrij-formulier vraagbeantwoording, wiskundige programma-synthese, en toxiciteitsreductie tonen aan dat CRITIC consistent de prestaties van LLMs verbetert. Tegelijkertijd benadrukt ons onderzoek het cruciale belang van externe feedback bij het bevorderen van de voortdurende zelfverbetering van LLMs.

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.