Reasoning-SQL: Обучение с подкреплением с частичными вознаграждениями, адаптированными под SQL, для улучшенного преобразования текста в SQL с использованием логического рассуждения

Reasoning-SQL: Reinforcement Learning with SQL Tailored Partial Rewards for Reasoning-Enhanced Text-to-SQL

March 29, 2025

Авторы: Mohammadreza Pourreza, Shayan Talaei, Ruoxi Sun, Xingchen Wan, Hailong Li, Azalia Mirhoseini, Amin Saberi, Sercan "O. Arik

cs.AI

Аннотация

Text-to-SQL — это сложная задача, включающая множество рассуждений, таких как понимание естественного языка, анализ структуры базы данных и точное формирование SQL-запросов. Существующие подходы часто полагаются на ручные пути рассуждений с индуктивными предубеждениями, что может ограничивать их общую эффективность. Вдохновленные недавними успехами моделей, усиленных рассуждениями, таких как DeepSeek R1 и OpenAI o1, которые эффективно используют самоисследование, основанное на вознаграждении, для улучшения способностей к рассуждению и обобщению, мы предлагаем новый набор частичных вознаграждений, специально разработанных для задачи Text-to-SQL. Наш набор включает в себя связывание схемы, обратную связь от ИИ, сходство n-грамм и проверку синтаксиса, что явно направлено на решение проблемы разреженности вознаграждений, характерной для обучения с подкреплением (RL). Используя оптимизацию политики на основе группового относительного сравнения (GRPO), наш подход явно стимулирует большие языковые модели (LLM) развивать внутренние навыки рассуждения, необходимые для точного формирования SQL-запросов. На моделях разного размера мы демонстрируем, что обучение только с подкреплением с использованием предложенных нами вознаграждений стабильно достигает более высокой точности и превосходного обобщения по сравнению с тонкой настройкой с учителем (SFT). Примечательно, что наша 14B-параметрическая модель, обученная с подкреплением, значительно превосходит более крупные проприетарные модели, например, o3-mini на 4% и Gemini-1.5-Pro-002 на 3% на бенчмарке BIRD. Эти результаты подчеркивают эффективность предложенной нами RL-обучающей структуры с частичными вознаграждениями для повышения как точности, так и способностей к рассуждению в задачах Text-to-SQL.

English

Text-to-SQL is a challenging task involving multiple reasoning-intensive subtasks, including natural language understanding, database schema comprehension, and precise SQL query formulation. Existing approaches often rely on handcrafted reasoning paths with inductive biases that can limit their overall effectiveness. Motivated by the recent success of reasoning-enhanced models such as DeepSeek R1 and OpenAI o1, which effectively leverage reward-driven self-exploration to enhance reasoning capabilities and generalization, we propose a novel set of partial rewards tailored specifically for the Text-to-SQL task. Our reward set includes schema-linking, AI feedback, n-gram similarity, and syntax check, explicitly designed to address the reward sparsity issue prevalent in reinforcement learning (RL). Leveraging group relative policy optimization (GRPO), our approach explicitly encourages large language models (LLMs) to develop intrinsic reasoning skills necessary for accurate SQL query generation. With models of different sizes, we demonstrate that RL-only training with our proposed rewards consistently achieves higher accuracy and superior generalization compared to supervised fine-tuning (SFT). Remarkably, our RL-trained 14B-parameter model significantly outperforms larger proprietary models, e.g. o3-mini by 4% and Gemini-1.5-Pro-002 by 3% on the BIRD benchmark. These highlight the efficacy of our proposed RL-training framework with partial rewards for enhancing both accuracy and reasoning capabilities in Text-to-SQL tasks.