Zelfsturende Taalmodellen

Samenvatting

Hoewel redeneren tijdens testtijd taalmodellen in staat stelt complexe taken aan te pakken, kan zoeken of plannen in natuurlijke taal traag, kostbaar en foutgevoelig zijn. Maar zelfs wanneer taalmodellen moeite hebben om de precieze redeneerstappen te emuleren die nodig zijn om een probleem op te lossen, blinken ze vaak uit in het beschrijven van de abstracte structuur ervan—zowel hoe oplossingen te verifiëren als hoe ernaar te zoeken. Dit artikel introduceert DisCIPL, een methode voor "zelfsturende" taalmodellen waarbij een Planner-model een taakspecifiek inferentieprogramma genereert dat wordt uitgevoerd door een populatie van Follower-modellen. Onze aanpak rust taalmodellen uit met de mogelijkheid om recursieve zoekprocedures te schrijven die de inferentie van taalmodellen sturen, wat nieuwe vormen van verifieerbaar en efficiënt redeneren mogelijk maakt. Wanneer geïnstantieerd met een klein Follower-model (bijv. Llama-3.2-1B), evenaart (en overtreft soms) DisCIPL veel grotere modellen, waaronder GPT-4o en o1, op uitdagende taken voor beperkte generatie. Door planning te ontkoppelen van uitvoering, opent ons werk een ontwerpruimte van sterk geparalleliseerde Monte Carlo-inferentiestrategieën die standaard best-of-N-steekproeven overtreffen, geen finetuning vereisen en automatisch kunnen worden geïmplementeerd door bestaande taalmodellen.

English

While test-time reasoning enables language models to tackle complex tasks, searching or planning in natural language can be slow, costly, and error-prone. But even when LMs struggle to emulate the precise reasoning steps needed to solve a problem, they often excel at describing its abstract structure--both how to verify solutions and how to search for them. This paper introduces DisCIPL, a method for "self-steering" LMs where a Planner model generates a task-specific inference program that is executed by a population of Follower models. Our approach equips LMs with the ability to write recursive search procedures that guide LM inference, enabling new forms of verifiable and efficient reasoning. When instantiated with a small Follower (e.g., Llama-3.2-1B), DisCIPL matches (and sometimes outperforms) much larger models, including GPT-4o and o1, on challenging constrained generation tasks. In decoupling planning from execution, our work opens up a design space of highly-parallelized Monte Carlo inference strategies that outperform standard best-of-N sampling, require no finetuning, and can be implemented automatically by existing LMs.

Zelfsturende Taalmodellen

Self-Steering Language Models

Samenvatting

Support