CodeSteer: Symbolisch erweiterte Sprachmodelle mit Code-/Text-Anleitung

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Autoren: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Zusammenfassung

Bestehende Methoden versagen dabei, Large Language Models (LLMs) effektiv zwischen textueller Argumentation und Code-Generierung zu lenken, wodurch symbolische Rechenfähigkeiten untergenutzt bleiben. Wir stellen CodeSteer vor, eine effektive Methode zur Steuerung der Code-/Textgenerierung von LLMs. Wir erstellen einen umfassenden Benchmark namens SymBench, der 37 symbolische Aufgaben mit anpassbarer Komplexität umfasst, und synthetisieren auch Datensätze von 12.000 mehrstufigen Anleitungs-/Generierungstrajectories und 5.500 Anleitungsvergleichspaaren. Wir feinabstimmen das Llama-3-8B-Modell mit einem neu konzipierten mehrstufigen überwachten Feintuning (SFT) und direkter Präferenzoptimierung (DPO). Das resultierende Modell, CodeSteerLLM, ergänzt um die vorgeschlagenen symbolischen und Selbstantwort-Prüfer, lenkt die Code-/Textgenerierung größerer Modelle effektiv. Die Ergänzung von GPT-4o mit CodeSteer erhöht seine durchschnittliche Leistung von 53,3 auf 86,4 und übertrifft sogar die bisher besten LLMs von OpenAI o1 (82,7), o1-preview (74,8) und DeepSeek R1 (76,8) in allen 37 Aufgaben (28 gesehen, 9 ungesehen). Für GPT-4o trainiert, zeigt CodeSteer eine überlegene Verallgemeinerbarkeit und bietet einen durchschnittlichen Leistungsschub von 41,8 auf Claude, Mistral und GPT-3.5. CodeSteer-geführte LLMs nutzen symbolisches Rechnen voll aus, um eine starke Leistung bei hochkomplexen Aufgaben aufrechtzuerhalten. Modelle, Datensätze und Codes sind verfügbar unter https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.