Modelos de Lenguaje de Autodirección

Self-Steering Language Models

April 9, 2025

Autores: Gabriel Grand, Joshua B. Tenenbaum, Vikash K. Mansinghka, Alexander K. Lew, Jacob Andreas

cs.AI

Resumen

Si bien el razonamiento en tiempo de prueba permite a los modelos de lenguaje abordar tareas complejas, la búsqueda o planificación en lenguaje natural puede ser lenta, costosa y propensa a errores. Sin embargo, incluso cuando los modelos de lenguaje (LM) tienen dificultades para emular los pasos de razonamiento precisos necesarios para resolver un problema, a menudo sobresalen en describir su estructura abstracta, tanto cómo verificar soluciones como cómo buscarlas. Este artículo presenta DisCIPL, un método para la "autodirección" de LM, donde un modelo Planificador genera un programa de inferencia específico para la tarea que es ejecutado por una población de modelos Seguidores. Nuestro enfoque dota a los LM de la capacidad de escribir procedimientos de búsqueda recursiva que guían la inferencia del LM, permitiendo nuevas formas de razonamiento verificable y eficiente. Cuando se instancia con un Seguidor pequeño (por ejemplo, Llama-3.2-1B), DisCIPL iguala (y a veces supera) a modelos mucho más grandes, incluyendo GPT-4o y o1, en tareas desafiantes de generación con restricciones. Al desacoplar la planificación de la ejecución, nuestro trabajo abre un espacio de diseño de estrategias de inferencia de Monte Carlo altamente paralelizadas que superan el muestreo estándar de mejor-de-N, no requieren ajuste fino y pueden implementarse automáticamente por LM existentes.

English

While test-time reasoning enables language models to tackle complex tasks, searching or planning in natural language can be slow, costly, and error-prone. But even when LMs struggle to emulate the precise reasoning steps needed to solve a problem, they often excel at describing its abstract structure--both how to verify solutions and how to search for them. This paper introduces DisCIPL, a method for "self-steering" LMs where a Planner model generates a task-specific inference program that is executed by a population of Follower models. Our approach equips LMs with the ability to write recursive search procedures that guide LM inference, enabling new forms of verifiable and efficient reasoning. When instantiated with a small Follower (e.g., Llama-3.2-1B), DisCIPL matches (and sometimes outperforms) much larger models, including GPT-4o and o1, on challenging constrained generation tasks. In decoupling planning from execution, our work opens up a design space of highly-parallelized Monte Carlo inference strategies that outperform standard best-of-N sampling, require no finetuning, and can be implemented automatically by existing LMs.