CodeSteer: Symbolisch-aangevulde Taalmodellen via Code/Tekstbegeleiding

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Auteurs: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Samenvatting

Bestaande methoden falen om Grote Taalmodellen (LLMs) effectief te sturen tussen tekstueel redeneren en codegeneratie, waardoor symbolische rekenmogelijkheden onderbenut blijven. We introduceren CodeSteer, een effectieve methode voor het begeleiden van LLM-code/tekstgeneratie. We construeren een uitgebreide benchmark SymBench bestaande uit 37 symbolische taken met aanpasbare complexiteit en synthetiseren ook datasets van 12k multi-ronde begeleidings/generatietrajecten en 5.5k begeleidingsvergelijkingsparen. We finetunen het Llama-3-8B model met een nieuw ontworpen multi-ronde supervisie-finetuning (SFT) en directe voorkeurs optimalisatie (DPO). Het resulterende model, CodeSteerLLM, aangevuld met de voorgestelde symbolische en zelf-antwoordcontroleurs, begeleidt effectief de code/tekstgeneratie van grotere modellen. Het toevoegen van CodeSteer aan GPT-4o verhoogt zijn gemiddelde prestatiescore van 53.3 naar 86.4, waarbij het zelfs de bestaande beste LLM's van OpenAI o1 (82.7), o1-preview (74.8) en DeepSeek R1 (76.8) overtreft op alle 37 taken (28 gezien, 9 ongezien). Getraind voor GPT-4o, toont CodeSteer superieure generaliseerbaarheid, met een gemiddelde prestatieverbetering van 41.8 op Claude, Mistral en GPT-3.5. CodeSteer-geleide LLMs benutten symbolische rekenkracht volledig om sterke prestaties te behouden op zeer complexe taken. Modellen, Datasets en Codes zijn beschikbaar op https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.