CRITIC: Große Sprachmodelle können sich selbst korrigieren durch werkzeuginteraktive Kritik.

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

May 19, 2023

Autoren: Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen

cs.AI

Zusammenfassung

Jüngste Entwicklungen bei großen Sprachmodellen (LLMs) sind beeindruckend. Diese Modelle zeigen jedoch manchmal Inkonsistenzen und problematisches Verhalten, wie das Erfinden von Fakten, das Generieren fehlerhaften Codes oder das Erstellen anstößiger und toxischer Inhalte. Im Gegensatz dazu nutzen Menschen typischerweise externe Werkzeuge, um ihre ursprünglichen Inhalte zu überprüfen und zu verfeinern, beispielsweise eine Suchmaschine zur Faktenüberprüfung oder einen Code-Interpreter zum Debuggen. Inspiriert von dieser Beobachtung stellen wir ein Framework namens CRITIC vor, das es LLMs, die im Wesentlichen „Black Boxes“ sind, ermöglicht, ihre eigenen Ausgaben auf eine Weise zu validieren und schrittweise zu verbessern, die der menschlichen Interaktion mit Werkzeugen ähnelt. Konkret interagiert CRITIC, ausgehend von einer initialen Ausgabe, mit geeigneten Werkzeugen, um bestimmte Aspekte des Textes zu bewerten, und überarbeitet dann die Ausgabe basierend auf dem während dieses Validierungsprozesses erhaltenen Feedback. Umfassende Bewertungen, die freie Fragebeantwortung, mathematische Programmsynthese und Toxizitätsreduktion umfassen, zeigen, dass CRITIC die Leistung von LLMs konsequent verbessert. Gleichzeitig unterstreicht unsere Forschung die entscheidende Bedeutung von externem Feedback für die kontinuierliche Selbstverbesserung von LLMs.

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.