CodeSteer: Modelli di linguaggio potenziati simbolicamente tramite guida da codice/testo

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Autori: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Abstract

I metodi esistenti non riescono a guidare in modo efficace i Large Language Models (LLM) tra il ragionamento testuale e la generazione di codice, lasciando sottoutilizzate le capacità di calcolo simbolico. Presentiamo CodeSteer, un metodo efficace per guidare la generazione di codice/testo dei LLM. Costruiamo un benchmark completo SymBench composto da 37 compiti simbolici con complessità regolabile e sintetizziamo anche dataset di 12k traiettorie di guida/generazione multi-round e 5.5k coppie di confronto di guida. Ottimizziamo il modello Llama-3-8B con un nuovo fine-tuning supervisionato multi-round (SFT) e ottimizzazione diretta delle preferenze (DPO). Il modello risultante, CodeSteerLLM, potenziato con i controllori simbolici e di auto-risposta proposti, guida in modo efficace la generazione di codice/testo dei modelli più grandi. L'aggiunta di CodeSteer a GPT-4o aumenta il suo punteggio medio di performance da 53.3 a 86.4, superando persino i migliori LLM esistenti OpenAI o1 (82.7), o1-preview (74.8) e DeepSeek R1 (76.8) su tutti i 37 compiti (28 visti, 9 non visti). Addestrato per GPT-4o, CodeSteer dimostra una generalizzabilità superiore, fornendo un aumento medio delle performance del 41.8 su Claude, Mistral e GPT-3.5. I LLM guidati da CodeSteer sfruttano appieno il calcolo simbolico per mantenere alte performance su compiti altamente complessi. Modelli, Dataset e Codici sono disponibili su https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.