Strom der Suche (SoS): Lernen, in Sprache zu suchen

Stream of Search (SoS): Learning to Search in Language

April 1, 2024

Autoren: Kanishk Gandhi, Denise Lee, Gabriel Grand, Muxin Liu, Winson Cheng, Archit Sharma, Noah D. Goodman

cs.AI

Zusammenfassung

Sprachmodelle werden während des Trainings selten fruchtbare Fehler gezeigt. Sie haben dann Schwierigkeiten, über das nächste Token hinauszuschauen, leiden unter einer Schneeballeffekt von Fehlern und kämpfen damit, die Konsequenz ihrer Handlungen mehrere Schritte im Voraus vorherzusagen. In diesem Papier zeigen wir, wie Sprachmodelle durch die Darstellung des Suchprozesses in Sprache als eine flache Zeichenfolge - einen Strom der Suche (SoS) - beigebracht werden können. Wir schlagen eine einheitliche Sprache für die Suche vor, die eine Vielzahl verschiedener symbolischer Suchstrategien erfasst. Wir demonstrieren unseren Ansatz anhand des einfachen, aber schwierigen Spiels Countdown, bei dem das Ziel darin besteht, Eingabezahlen mit arithmetischen Operationen zu kombinieren, um eine Zielzahl zu erreichen. Wir trainieren ein auf Transformer basierendes Sprachmodell von Grund auf auf einem Datensatz von Suchströmen, die von heuristischen Lösungsalgorithmen generiert wurden. Wir stellen fest, dass das SoS-Training die Suchgenauigkeit um 25 % gegenüber Modellen erhöht, die nur auf die Vorhersage der optimalen Suchtrajektorie trainiert sind. Wir verfeinern dieses Modell weiter mit zwei Methoden zur Verbesserung der Richtlinie: Advantage-Induced Policy Alignment (APA) und Self-Taught Reasoner (STaR). Die verfeinerten SoS-Modelle lösen 36 % der zuvor ungelösten Probleme, einschließlich Probleme, die von keinem der heuristischen Lösungsverfahren gelöst werden können. Unsere Ergebnisse deuten darauf hin, dass Sprachmodelle lernen können, Probleme durch Suche zu lösen, sich selbst verbessern, um flexibel verschiedene Suchstrategien zu nutzen, und möglicherweise neue zu entdecken.

English

Language models are rarely shown fruitful mistakes while training. They then struggle to look beyond the next token, suffering from a snowballing of errors and struggling to predict the consequence of their actions several steps ahead. In this paper, we show how language models can be taught to search by representing the process of search in language, as a flattened string -- a stream of search (SoS). We propose a unified language for search that captures an array of different symbolic search strategies. We demonstrate our approach using the simple yet difficult game of Countdown, where the goal is to combine input numbers with arithmetic operations to reach a target number. We pretrain a transformer-based language model from scratch on a dataset of streams of search generated by heuristic solvers. We find that SoS pretraining increases search accuracy by 25% over models trained to predict only the optimal search trajectory. We further finetune this model with two policy improvement methods: Advantage-Induced Policy Alignment (APA) and Self-Taught Reasoner (STaR). The finetuned SoS models solve 36% of previously unsolved problems, including problems that cannot be solved by any of the heuristic solvers. Our results indicate that language models can learn to solve problems via search, self-improve to flexibly use different search strategies, and potentially discover new ones.