CRITIC: 大規模言語モデルはツールインタラクティブな批判を用いて自己修正が可能

要旨

大規模言語モデル（LLM）の最近の進展は目覚ましいものがあります。しかし、これらのモデルは時として、事実の捏造、欠陥のあるコードの生成、または攻撃的で有害なコンテンツの作成といった、一貫性のない問題のある行動を示すことがあります。これらのモデルとは異なり、人間は通常、外部ツールを利用して初期のコンテンツを検証し、洗練させます。例えば、検索エンジンを使って事実確認を行ったり、コードインタプリタを使ってデバッグを行ったりします。この観察に着想を得て、我々は「CRITIC」と呼ばれるフレームワークを導入しました。このフレームワークは、本質的に「ブラックボックス」であるLLMが、人間がツールと相互作用するのと同様の方法で、自身の出力を検証し、段階的に修正することを可能にします。具体的には、初期の出力から始めて、CRITICは適切なツールと相互作用してテキストの特定の側面を評価し、その検証プロセス中に得られたフィードバックに基づいて出力を修正します。自由形式の質問応答、数学的プログラム合成、および有害性の低減を含む包括的な評価により、CRITICがLLMのパフォーマンスを一貫して向上させることが実証されています。同時に、我々の研究は、LLMの継続的な自己改善を促進する上で、外部フィードバックの重要性を強調しています。

English

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically utilize external tools to cross-check and refine their initial content, like using a search engine for fact-checking, or a code interpreter for debugging. Inspired by this observation, we introduce a framework called CRITIC that allows LLMs, which are essentially "black boxes" to validate and progressively amend their own outputs in a manner similar to human interaction with tools. More specifically, starting with an initial output, CRITIC interacts with appropriate tools to evaluate certain aspects of the text, and then revises the output based on the feedback obtained during this validation process. Comprehensive evaluations involving free-form question answering, mathematical program synthesis, and toxicity reduction demonstrate that CRITIC consistently enhances the performance of LLMs. Meanwhile, our research highlights the crucial importance of external feedback in promoting the ongoing self-improvement of LLMs.

CRITIC: 大規模言語モデルはツールインタラクティブな批判を用いて自己修正が可能

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

要旨

Support