Самонаправляемые языковые модели

Self-Steering Language Models

April 9, 2025

Авторы: Gabriel Grand, Joshua B. Tenenbaum, Vikash K. Mansinghka, Alexander K. Lew, Jacob Andreas

cs.AI

Аннотация

Хотя рассуждения во время тестирования позволяют языковым моделям справляться со сложными задачами, поиск или планирование на естественном языке могут быть медленными, затратными и подверженными ошибкам. Однако даже когда языковые модели (LM) испытывают трудности с точным воспроизведением шагов рассуждений, необходимых для решения задачи, они часто преуспевают в описании её абстрактной структуры — как в проверке решений, так и в поиске этих решений. В данной статье представлен метод DisCIPL, который позволяет языковым моделям "самоуправляться": модель-планировщик генерирует специфическую для задачи программу вывода, которая выполняется группой моделей-исполнителей. Наш подход наделяет языковые модели способностью создавать рекурсивные процедуры поиска, которые направляют вывод LM, открывая новые возможности для проверяемого и эффективного рассуждения. При использовании небольшой модели-исполнителя (например, Llama-3.2-1B) DisCIPL демонстрирует результаты, сопоставимые (а иногда и превосходящие) с гораздо более крупными моделями, включая GPT-4o и o1, на сложных задачах генерации с ограничениями. Разделяя планирование и выполнение, наша работа открывает пространство для разработки высокопараллельных стратегий вывода методом Монте-Карло, которые превосходят стандартный метод выборки best-of-N, не требуют тонкой настройки и могут быть автоматически реализованы существующими языковыми моделями.

English

While test-time reasoning enables language models to tackle complex tasks, searching or planning in natural language can be slow, costly, and error-prone. But even when LMs struggle to emulate the precise reasoning steps needed to solve a problem, they often excel at describing its abstract structure--both how to verify solutions and how to search for them. This paper introduces DisCIPL, a method for "self-steering" LMs where a Planner model generates a task-specific inference program that is executed by a population of Follower models. Our approach equips LMs with the ability to write recursive search procedures that guide LM inference, enabling new forms of verifiable and efficient reasoning. When instantiated with a small Follower (e.g., Llama-3.2-1B), DisCIPL matches (and sometimes outperforms) much larger models, including GPT-4o and o1, on challenging constrained generation tasks. In decoupling planning from execution, our work opens up a design space of highly-parallelized Monte Carlo inference strategies that outperform standard best-of-N sampling, require no finetuning, and can be implemented automatically by existing LMs.