Selbststeuernde Sprachmodelle

Self-Steering Language Models

April 9, 2025

Autoren: Gabriel Grand, Joshua B. Tenenbaum, Vikash K. Mansinghka, Alexander K. Lew, Jacob Andreas

cs.AI

Zusammenfassung

Während das Schlussfolgern zur Testzeit es Sprachmodellen ermöglicht, komplexe Aufgaben zu bewältigen, kann das Suchen oder Planen in natürlicher Sprache langsam, kostspielig und fehleranfällig sein. Doch selbst wenn Sprachmodelle Schwierigkeiten haben, die präzisen Denkschritte zur Lösung eines Problems nachzuahmen, sind sie oft hervorragend darin, dessen abstrakte Struktur zu beschreiben – sowohl wie man Lösungen überprüft als auch wie man nach ihnen sucht. Dieses Papier stellt DisCIPL vor, eine Methode zur „Selbststeuerung“ von Sprachmodellen, bei der ein Planungsmodell ein aufgaben-spezifisches Inferenzprogramm generiert, das von einer Gruppe von Follower-Modellen ausgeführt wird. Unser Ansatz stattet Sprachmodelle mit der Fähigkeit aus, rekursive Suchverfahren zu schreiben, die die Inferenz der Modelle leiten und so neue Formen von überprüfbarem und effizientem Schlussfolgern ermöglichen. Wenn DisCIPL mit einem kleinen Follower-Modell (z.B. Llama-3.2-1B) instanziiert wird, erreicht es (und übertrifft manchmal sogar) viel größere Modelle, einschließlich GPT-4o und o1, bei anspruchsvollen Aufgaben zur eingeschränkten Generierung. Durch die Entkopplung von Planung und Ausführung eröffnet unsere Arbeit einen Designraum hochgradig parallelisierter Monte-Carlo-Inferenzstrategien, die das Standard-Best-of-N-Sampling übertreffen, kein Fine-Tuning erfordern und automatisch von bestehenden Sprachmodellen implementiert werden können.

English

While test-time reasoning enables language models to tackle complex tasks, searching or planning in natural language can be slow, costly, and error-prone. But even when LMs struggle to emulate the precise reasoning steps needed to solve a problem, they often excel at describing its abstract structure--both how to verify solutions and how to search for them. This paper introduces DisCIPL, a method for "self-steering" LMs where a Planner model generates a task-specific inference program that is executed by a population of Follower models. Our approach equips LMs with the ability to write recursive search procedures that guide LM inference, enabling new forms of verifiable and efficient reasoning. When instantiated with a small Follower (e.g., Llama-3.2-1B), DisCIPL matches (and sometimes outperforms) much larger models, including GPT-4o and o1, on challenging constrained generation tasks. In decoupling planning from execution, our work opens up a design space of highly-parallelized Monte Carlo inference strategies that outperform standard best-of-N sampling, require no finetuning, and can be implemented automatically by existing LMs.