CodeSteer: Символьно-дополненные языковые модели с помощью руководства кодом/текстом

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Авторы: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Аннотация

Существующие методы не могут эффективно направлять крупные языковые модели (LLM) между текстовым рассуждением и генерацией кода, что приводит к недостаточному использованию возможностей символьных вычислений. Мы представляем CodeSteer, эффективный метод для направления генерации кода/текста LLM. Мы создаем комплексный бенчмарк SymBench, включающий 37 символьных задач с настраиваемой сложностью, а также синтезируем наборы данных из 12 тыс. траекторий многораундового руководства/генерации и 5,5 тыс. пар сравнения руководства. Мы донастраиваем модель Llama-3-8B с помощью вновь разработанного многораундового обучения с учителем (SFT) и оптимизации прямого предпочтения (DPO). Полученная модель, CodeSteerLLM, дополненная предложенными символьными и самоответными проверками, эффективно направляет генерацию кода/текста более крупных моделей. Дополнение GPT-4o с помощью CodeSteer повышает его средний балл производительности с 53,3 до 86,4, даже превосходя существующие лучшие LLM OpenAI o1 (82,7), o1-preview (74,8) и DeepSeek R1 (76,8) по всем 37 задачам (28 видимых, 9 невидимых). Обученный для GPT-4o, CodeSteer демонстрирует превосходную обобщаемость, обеспечивая среднее увеличение производительности на 41,8 на Claude, Mistral и GPT-3.5. Направляемые CodeSteer LLM полностью используют символьные вычисления для поддержания высокой производительности на сложных задачах. Модели, наборы данных и коды доступны по адресу https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.