Reasoning-SQL: Aprendizado por Reforço com Recompensas Parciais Personalizadas em SQL para Text-to-SQL Aprimorado por Raciocínio

Reasoning-SQL: Reinforcement Learning with SQL Tailored Partial Rewards for Reasoning-Enhanced Text-to-SQL

March 29, 2025

Autores: Mohammadreza Pourreza, Shayan Talaei, Ruoxi Sun, Xingchen Wan, Hailong Li, Azalia Mirhoseini, Amin Saberi, Sercan "O. Arik

cs.AI

Resumo

Text-to-SQL é uma tarefa desafiadora que envolve múltiplas subtarefas intensivas em raciocínio, incluindo compreensão de linguagem natural, entendimento de esquemas de banco de dados e formulação precisa de consultas SQL. As abordagens existentes frequentemente dependem de caminhos de raciocínio manuais com vieses indutivos que podem limitar sua eficácia geral. Motivados pelo recente sucesso de modelos aprimorados por raciocínio, como DeepSeek R1 e OpenAI o1, que efetivamente utilizam autoexploração orientada por recompensas para melhorar capacidades de raciocínio e generalização, propomos um novo conjunto de recompensas parciais especificamente adaptadas para a tarefa Text-to-SQL. Nosso conjunto de recompensas inclui vinculação de esquema, feedback de IA, similaridade de n-gramas e verificação de sintaxe, projetados explicitamente para abordar o problema de esparsidade de recompensas prevalente no aprendizado por reforço (RL). Utilizando a otimização de política relativa em grupo (GRPO), nossa abordagem incentiva explicitamente modelos de linguagem de grande escala (LLMs) a desenvolver habilidades intrínsecas de raciocínio necessárias para a geração precisa de consultas SQL. Com modelos de diferentes tamanhos, demonstramos que o treinamento exclusivo com RL usando nossas recompensas propostas consistentemente alcança maior precisão e superior generalização em comparação com o ajuste fino supervisionado (SFT). Notavelmente, nosso modelo treinado com RL de 14 bilhões de parâmetros supera significativamente modelos proprietários maiores, como o o3-mini em 4% e o Gemini-1.5-Pro-002 em 3% no benchmark BIRD. Esses resultados destacam a eficácia de nossa estrutura de treinamento com RL e recompensas parciais para aprimorar tanto a precisão quanto as capacidades de raciocínio em tarefas Text-to-SQL.

English

Text-to-SQL is a challenging task involving multiple reasoning-intensive subtasks, including natural language understanding, database schema comprehension, and precise SQL query formulation. Existing approaches often rely on handcrafted reasoning paths with inductive biases that can limit their overall effectiveness. Motivated by the recent success of reasoning-enhanced models such as DeepSeek R1 and OpenAI o1, which effectively leverage reward-driven self-exploration to enhance reasoning capabilities and generalization, we propose a novel set of partial rewards tailored specifically for the Text-to-SQL task. Our reward set includes schema-linking, AI feedback, n-gram similarity, and syntax check, explicitly designed to address the reward sparsity issue prevalent in reinforcement learning (RL). Leveraging group relative policy optimization (GRPO), our approach explicitly encourages large language models (LLMs) to develop intrinsic reasoning skills necessary for accurate SQL query generation. With models of different sizes, we demonstrate that RL-only training with our proposed rewards consistently achieves higher accuracy and superior generalization compared to supervised fine-tuning (SFT). Remarkably, our RL-trained 14B-parameter model significantly outperforms larger proprietary models, e.g. o3-mini by 4% and Gemini-1.5-Pro-002 by 3% on the BIRD benchmark. These highlight the efficacy of our proposed RL-training framework with partial rewards for enhancing both accuracy and reasoning capabilities in Text-to-SQL tasks.