Zertifiziertes Schließen mit Sprachmodellen

Certified Reasoning with Language Models

June 6, 2023

Autoren: Gabriel Poesia, Kanishk Gandhi, Eric Zelikman, Noah D. Goodman

cs.AI

Zusammenfassung

Sprachmodelle erreichen oft eine höhere Genauigkeit, wenn sie bei komplexen Aufgaben schrittweise argumentieren. Ihre Argumentation kann jedoch unschlüssig, inkonsistent oder auf unerwünschten Vorannahmen basieren. Um diese Probleme zu lösen, führen wir eine Klasse von Werkzeugen für Sprachmodelle ein, sogenannte Guides, die Zustände und inkrementelle Einschränkungen nutzen, um die Generierung zu steuern. Ein Guide kann vom Modell aufgerufen werden, um seine eigene Generierung auf eine vom Werkzeug vorgegebene Menge gültiger Aussagen zu beschränken. Im Gegenzug können die Entscheidungen des Modells den Zustand des Guides verändern. Wir zeigen, wie ein allgemeines System für logisches Denken als Guide verwendet werden kann, den wir LogicGuide nennen. Bei einem Argumentationsproblem in natürlicher Sprache kann ein Modell seine Annahmen für LogicGuide formalisieren und so sicherstellen, dass seine Argumentationsschritte schlüssig sind. In Experimenten mit den Argumentationsdatensätzen PrOntoQA und ProofWriter verbessert LogicGuide die Leistung von GPT-3, GPT-3.5 Turbo und LLaMA erheblich (Genauigkeitssteigerungen von bis zu 35 %). LogicGuide reduziert zudem drastisch Inhalts-Effekte: die Interferenz von Vorannahmen und aktuellen Annahmen, unter der sowohl Menschen als auch Sprachmodelle bekanntlich leiden. Schließlich untersuchen wir das Bootstrapping von LLaMA 13B aus seiner eigenen Argumentation und stellen fest, dass LogicGuide entscheidend ist: Indem LLaMA nur auf zertifizierten, selbst generierten Argumentationen trainiert, kann es sich selbst verbessern und vermeiden, aus seinen eigenen Halluzinationen zu lernen.

English

Language models often achieve higher accuracy when reasoning step-by-step in complex tasks. However, their reasoning can be unsound, inconsistent, or rely on undesirable prior assumptions. To tackle these issues, we introduce a class of tools for language models called guides that use state and incremental constraints to guide generation. A guide can be invoked by the model to constrain its own generation to a set of valid statements given by the tool. In turn, the model's choices can change the guide's state. We show how a general system for logical reasoning can be used as a guide, which we call LogicGuide. Given a reasoning problem in natural language, a model can formalize its assumptions for LogicGuide and then guarantee that its reasoning steps are sound. In experiments with the PrOntoQA and ProofWriter reasoning datasets, LogicGuide significantly improves the performance of GPT-3, GPT-3.5 Turbo and LLaMA (accuracy gains up to 35%). LogicGuide also drastically reduces content effects: the interference of prior and current assumptions that both humans and language models have been shown to suffer from. Finally, we explore bootstrapping LLaMA 13B from its own reasoning and find that LogicGuide is critical: by training only on certified self-generated reasoning, LLaMA can self-improve, avoiding learning from its own hallucinations.