Reasoning-SQL: Reinforcement Learning met SQL-afgestemde gedeeltelijke beloningen voor Reasoning-Enhanced Text-to-SQL

Reasoning-SQL: Reinforcement Learning with SQL Tailored Partial Rewards for Reasoning-Enhanced Text-to-SQL

March 29, 2025

Auteurs: Mohammadreza Pourreza, Shayan Talaei, Ruoxi Sun, Xingchen Wan, Hailong Li, Azalia Mirhoseini, Amin Saberi, Sercan "O. Arik

cs.AI

Samenvatting

Text-to-SQL is een uitdagende taak die meerdere redeneerintensieve subtaken omvat, waaronder natuurlijke taalverwerking, begrip van databaseschema's en nauwkeurige SQL-queryformulering. Bestaande benaderingen vertrouwen vaak op handmatig gemaakte redeneerpaden met inductieve vooroordelen die hun algehele effectiviteit kunnen beperken. Geïnspireerd door het recente succes van redeneerversterkte modellen zoals DeepSeek R1 en OpenAI o1, die beloningsgedreven zelfverkenning effectief benutten om redeneervaardigheden en generalisatie te verbeteren, stellen we een nieuwe set gedeeltelijke beloningen voor die specifiek zijn afgestemd op de Text-to-SQL-taak. Onze beloningsset omvat schema-koppeling, AI-feedback, n-gram gelijkenis en syntaxcontrole, expliciet ontworpen om het probleem van beloningsschaarste in reinforcement learning (RL) aan te pakken. Door gebruik te maken van group relative policy optimization (GRPO), moedigt onze aanpak grote taalmmodellen (LLMs) expliciet aan om intrinsieke redeneervaardigheden te ontwikkelen die nodig zijn voor nauwkeurige SQL-querygeneratie. Met modellen van verschillende groottes laten we zien dat RL-only training met onze voorgestelde beloningen consistent hogere nauwkeurigheid en superieure generalisatie bereikt in vergelijking met supervised fine-tuning (SFT). Opmerkelijk is dat ons RL-getrainde 14B-parameter model aanzienlijk beter presteert dan grotere propriëtaire modellen, bijvoorbeeld o3-mini met 4% en Gemini-1.5-Pro-002 met 3% op de BIRD-benchmark. Dit benadrukt de effectiviteit van ons voorgestelde RL-trainingsframework met gedeeltelijke beloningen voor het verbeteren van zowel nauwkeurigheid als redeneervaardigheden in Text-to-SQL-taken.

English

Text-to-SQL is a challenging task involving multiple reasoning-intensive subtasks, including natural language understanding, database schema comprehension, and precise SQL query formulation. Existing approaches often rely on handcrafted reasoning paths with inductive biases that can limit their overall effectiveness. Motivated by the recent success of reasoning-enhanced models such as DeepSeek R1 and OpenAI o1, which effectively leverage reward-driven self-exploration to enhance reasoning capabilities and generalization, we propose a novel set of partial rewards tailored specifically for the Text-to-SQL task. Our reward set includes schema-linking, AI feedback, n-gram similarity, and syntax check, explicitly designed to address the reward sparsity issue prevalent in reinforcement learning (RL). Leveraging group relative policy optimization (GRPO), our approach explicitly encourages large language models (LLMs) to develop intrinsic reasoning skills necessary for accurate SQL query generation. With models of different sizes, we demonstrate that RL-only training with our proposed rewards consistently achieves higher accuracy and superior generalization compared to supervised fine-tuning (SFT). Remarkably, our RL-trained 14B-parameter model significantly outperforms larger proprietary models, e.g. o3-mini by 4% and Gemini-1.5-Pro-002 by 3% on the BIRD benchmark. These highlight the efficacy of our proposed RL-training framework with partial rewards for enhancing both accuracy and reasoning capabilities in Text-to-SQL tasks.