CodeSteer : Modèles de langage augmentés de manière symbolique via un guidage code/texte

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Auteurs: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Résumé

Les méthodes existantes échouent à diriger efficacement les grands modèles de langage (LLM) entre le raisonnement textuel et la génération de code, laissant les capacités de calcul symbolique sous-utilisées. Nous introduisons CodeSteer, une méthode efficace pour guider la génération de code/texte des LLM. Nous construisons un banc d'essai exhaustif SymBench comprenant 37 tâches symboliques avec une complexité ajustable et synthétisons également des ensembles de données de 12 000 trajectoires de guidage/génération multi-tours et 5 500 paires de comparaison de guidage. Nous affinons le modèle Llama-3-8B avec un nouvel accord de fine-tuning supervisé multi-tours (SFT) et une optimisation de préférence directe (DPO). Le modèle résultant, CodeSteerLLM, augmenté des vérificateurs symboliques et d'auto-réponse proposés, guide efficacement la génération de code/texte des modèles plus grands. L'ajout de CodeSteer à GPT-4o fait passer son score de performance moyen de 53,3 à 86,4, surpassant même les meilleurs LLM existants OpenAI o1 (82,7), o1-preview (74,8) et DeepSeek R1 (76,8) sur l'ensemble des 37 tâches (28 vues, 9 non vues). Entraîné pour GPT-4o, CodeSteer démontre une généralisabilité supérieure, offrant une amélioration moyenne de performance de 41,8 sur Claude, Mistral et GPT-3.5. Les LLM guidés par CodeSteer exploitent pleinement le calcul symbolique pour maintenir de bonnes performances sur des tâches très complexes. Les modèles, ensembles de données et codes sont disponibles sur https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.