CodeSteer: Modelos de Lenguaje Aumentados con Símbolos a través de Orientación de Código/Texto

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Autores: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Resumen

Los métodos existentes no logran dirigir de manera efectiva los Modelos de Lenguaje Grande (LLMs) entre el razonamiento textual y la generación de código, dejando las capacidades de computación simbólica subutilizadas. Presentamos CodeSteer, un método efectivo para guiar la generación de código/texto de LLMs. Construimos un banco de pruebas exhaustivo llamado SymBench que consta de 37 tareas simbólicas con complejidad ajustable y también sintetizamos conjuntos de datos de 12k trayectorias de guía/generación de múltiples rondas y 5.5k pares de comparación de guía. Ajustamos finamente el modelo Llama-3-8B con un nuevo ajuste fino supervisado de múltiples rondas (SFT) y optimización de preferencias directas (DPO). El modelo resultante, CodeSteerLLM, aumentado con los verificadores simbólicos y de autorespuesta propuestos, guía de manera efectiva la generación de código/texto de modelos más grandes. Al agregar CodeSteer a GPT-4o, su puntaje promedio de rendimiento aumenta de 53.3 a 86.4, superando incluso a los mejores LLM existentes de OpenAI o1 (82.7), o1-preview (74.8) y DeepSeek R1 (76.8) en las 37 tareas (28 vistas, 9 no vistas). Entrenado para GPT-4o, CodeSteer demuestra una generalizabilidad superior, proporcionando un aumento promedio de rendimiento del 41.8 en Claude, Mistral y GPT-3.5. Los LLMs guiados por CodeSteer aprovechan completamente la computación simbólica para mantener un rendimiento sólido en tareas altamente complejas. Los modelos, conjuntos de datos y códigos están disponibles en https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.