SQL-PaLM: Verbeterde aanpassing van grote taalmodellen voor tekst-naar-SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Auteurs: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Samenvatting

Een indrukwekkende emergentie-capaciteit van grote taalmodellen (LLM's) is het genereren van code, waaronder Structured Query Language (SQL) voor databases. Voor de taak van het omzetten van natuurlijke taal naar SQL-query's, Text-to-SQL, is de aanpassing van LLM's van cruciaal belang, zowel in in-context learning als fine-tuning settings, afhankelijk van de hoeveelheid aanpassingsdata die wordt gebruikt. In dit artikel stellen we een LLM-gebaseerd Text-to-SQL model voor, SQL-PaLM, dat voortbouwt op PaLM-2 en de state-of-the-art in beide settings naar een hoger niveau tilt. Few-shot SQL-PaLM is gebaseerd op een execution-based self-consistency prompting benadering die is ontworpen voor Text-to-SQL, en behaalt 77,3% in test-suite nauwkeurigheid op Spider, wat voor zover wij weten de eerste keer is dat het de vorige state-of-the-art met fine-tuning aanzienlijk overtreft, met een marge van 4%. Bovendien tonen we aan dat de fine-tuned SQL-PaLM dit nog verder verbetert met nog eens 1%. Om SQL-PaLM toe te passen in real-world scenario's evalueren we verder de robuustheid ervan op andere uitdagende varianten van Spider en demonstreren we de superieure generalisatiecapaciteit van SQL-PaLM. Daarnaast tonen we via uitgebreide casestudies de indrukwekkende intelligente capaciteiten en diverse succesfactoren van LLM-gebaseerde Text-to-SQL aan.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.