SQL-R1: Het trainen van een Natural Language naar SQL Redeneermodel Door Reinforcement Learning

SQL-R1: Training Natural Language to SQL Reasoning Model By Reinforcement Learning

April 11, 2025

Auteurs: Peixian Ma, Xialie Zhuang, Chengjin Xu, Xuhui Jiang, Ran Chen, Jian Guo

cs.AI

Samenvatting

Natural Language to SQL (NL2SQL) maakt intuïtieve interacties met databases mogelijk door natuurlijke taalvragen om te zetten in gestructureerde SQL-statements. Ondanks recente vooruitgang in het verbeteren van mens-computerinteractie binnen databaseapplicaties, blijven er aanzienlijke uitdagingen bestaan, met name wat betreft de inferentieprestaties in complexe scenario's waarbij multi-table joins en geneste queries betrokken zijn. Huidige methodologieën maken voornamelijk gebruik van supervised fine-tuning (SFT) om het NL2SQL-model te trainen, wat de aanpassings- en interpreteerbaarheid in nieuwe omgevingen (bijv. financiën en gezondheidszorg) kan beperken. Om de redeneerprestaties van het NL2SQL-model in de bovengenoemde complexe situaties te verbeteren, introduceren we SQL-R1, een nieuw NL2SQL-redeneermodel getraind met reinforcement learning (RL)-algoritmen. We ontwerpen een gespecialiseerde RL-gebaseerde beloningsfunctie die is afgestemd op NL2SQL-taken en bespreken de impact van een koude start op de effectiviteit van intensieve training. Daarnaast behalen we competitieve nauwkeurigheid met slechts een kleine hoeveelheid synthetische NL2SQL-gegevens voor augmented training en verkennen we verder data engineering voor RL. In bestaande experimenten behaalt SQL-R1 een uitvoeringsnauwkeurigheid van respectievelijk 88,6% en 66,6% op de benchmarks Spider en BIRD, waarbij alleen het 7B-basismodel wordt gebruikt.

English

Natural Language to SQL (NL2SQL) enables intuitive interactions with databases by transforming natural language queries into structured SQL statements. Despite recent advancements in enhancing human-computer interaction within database applications, significant challenges persist, particularly regarding the inference performance in complex scenarios involving multi-table joins and nested queries. Current methodologies primarily utilize supervised fine-tuning (SFT) to train the NL2SQL model, which may limit adaptability and interpretability in new environments (e.g., finance and healthcare). In order to enhance the reasoning performance of the NL2SQL model in the above complex situations, we introduce SQL-R1, a novel NL2SQL reasoning model trained by the reinforcement learning (RL) algorithms. We design a specialized RL-based reward function tailored for NL2SQL tasks and discussed the impact of cold start on the effectiveness of intensive training. In addition, we achieve competitive accuracy using only a tiny amount of synthetic NL2SQL data for augmented training and further explore data engineering for RL. In existing experiments, SQL-R1 achieves execution accuracy of 88.6% and 66.6% on the benchmark Spider and BIRD, respectively, only using the 7B base model.