CodeSteer: コード/テキストガイダンスを介したシンボリック拡張言語モデル

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

著者: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

要旨

既存の手法は、大規模言語モデル（LLM）をテキスト推論とコード生成の間で効果的に誘導することに失敗し、象徴的な計算能力が十分に活用されていません。本研究では、LLMのコード/テキスト生成を効果的に誘導するための方法であるCodeSteerを紹介します。我々は、調整可能な複雑さを持つ37の象徴的なタスクからなる包括的なベンチマークSymBenchを構築し、また、12,000のマルチラウンド誘導/生成軌跡と5,500の誘導比較ペアのデータセットを合成します。新しく設計されたマルチラウンド教師付き微調整（SFT）と直接的な選好最適化（DPO）を用いて、Llama-3-8Bモデルを微調整します。提案された象徴的および自己回答チェッカーを組み込んだ結果のモデルであるCodeSteerLLMは、より大きなモデルのコード/テキスト生成を効果的に誘導します。CodeSteerをGPT-4oに組み込むことで、平均パフォーマンススコアが53.3から86.4に向上し、既存の最高のLLMであるOpenAI o1（82.7）、o1-preview（74.8）、およびDeepSeek R1（76.8）を上回ります（28の既知タスク、9の未知タスクを含む37のタスク全体）。GPT-4o向けにトレーニングされたCodeSteerは、Claude、Mistral、およびGPT-3.5において平均41.8のパフォーマンス向上を示し、優れた汎用性を実証します。CodeSteerによって誘導されたLLMは、象徴的な計算を十分に活用して高度に複雑なタスクで強力なパフォーマンスを維持します。モデル、データセット、コードは以下のリンクから入手可能です：https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.