CodeSteer: Modelos de Linguagem Simbólica Aprimorados por Orientação de Código/Texto

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

February 4, 2025

Autores: Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

cs.AI

Resumo

Os métodos existentes falham em direcionar de forma eficaz os Modelos de Linguagem de Grande Escala (LLMs) entre o raciocínio textual e a geração de código, deixando as capacidades de computação simbólica subutilizadas. Apresentamos o CodeSteer, um método eficaz para orientar a geração de código/texto do LLM. Construímos um benchmark abrangente, SymBench, composto por 37 tarefas simbólicas com complexidade ajustável e também sintetizamos conjuntos de dados de 12 mil trajetórias de orientação/geração de múltiplas rodadas e 5,5 mil pares de comparação de orientação. Ajustamos finamente o modelo Llama-3-8B com um novo ajuste fino supervisionado de múltiplas rodadas (SFT) e otimização de preferência direta (DPO). O modelo resultante, CodeSteerLLM, aumentado com os verificadores simbólicos e de autoresposta propostos, orienta de forma eficaz a geração de código/texto de modelos maiores. A incorporação do CodeSteer ao GPT-4o eleva sua pontuação média de desempenho de 53,3 para 86,4, superando até mesmo os melhores LLMs existentes da OpenAI o1 (82,7), o1-preview (74,8) e DeepSeek R1 (76,8) em todas as 37 tarefas (28 vistas, 9 não vistas). Treinado para o GPT-4o, o CodeSteer demonstra uma generalizabilidade superior, proporcionando um aumento médio de desempenho de 41,8 em Claude, Mistral e GPT-3.5. Os LLMs orientados pelo CodeSteer aproveitam plenamente a computação simbólica para manter um desempenho sólido em tarefas altamente complexas. Modelos, conjuntos de dados e códigos estão disponíveis em https://github.com/yongchao98/CodeSteer-v1.0.

English

Existing methods fail to effectively steer Large Language Models (LLMs) between textual reasoning and code generation, leaving symbolic computing capabilities underutilized. We introduce CodeSteer, an effective method for guiding LLM code/text generation. We construct a comprehensive benchmark SymBench comprising 37 symbolic tasks with adjustable complexity and also synthesize datasets of 12k multi-round guidance/generation trajectories and 5.5k guidance comparison pairs. We fine-tune the Llama-3-8B model with a newly designed multi-round supervised fine-tuning (SFT) and direct preference optimization (DPO). The resulting model, CodeSteerLLM, augmented with the proposed symbolic and self-answer checkers, effectively guides the code/text generation of larger models. Augmenting GPT-4o with CodeSteer raises its average performance score from 53.3 to 86.4, even outperforming the existing best LLM OpenAI o1 (82.7), o1-preview (74.8), and DeepSeek R1 (76.8) across all 37 tasks (28 seen, 9 unseen). Trained for GPT-4o, CodeSteer demonstrates superior generalizability, providing an average 41.8 performance boost on Claude, Mistral, and GPT-3.5. CodeSteer-guided LLMs fully harness symbolic computing to maintain strong performance on highly complex tasks. Models, Datasets, and Codes are available at https://github.com/yongchao98/CodeSteer-v1.0.