SQL-PaLM: Miglioramento dell'Adattamento di Modelli Linguistici di Grande Scala per il Text-to-SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Autori: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Abstract

Una delle capacità emergenti più impressionanti dei grandi modelli linguistici (LLM) è la generazione di codice, incluso il linguaggio di interrogazione strutturato (SQL) per i database. Per il compito di convertire testo in linguaggio naturale in query SQL, noto come Text-to-SQL, l'adattamento degli LLM è di fondamentale importanza, sia in contesti di apprendimento in-context che di fine-tuning, a seconda della quantità di dati di adattamento utilizzati. In questo articolo, proponiamo un modello Text-to-SQL basato su LLM, chiamato SQL-PaLM, che si avvale di PaLM-2 e che spinge lo stato dell'arte in entrambi i contesti. La versione few-shot di SQL-PaLM si basa su un approccio di prompting basato sull'esecuzione e sull'autoconsistenza progettato per Text-to-SQL, e raggiunge un'accuratezza del 77,3% sul test-suite di Spider, che, per quanto ne sappiamo, è il primo a superare significativamente, con un margine del 4%, il precedente stato dell'arte ottenuto con il fine-tuning. Inoltre, dimostriamo che la versione fine-tuned di SQL-PaLM lo supera ulteriormente di un altro 1%. Verso l'applicazione di SQL-PaLM a scenari reali, valutiamo ulteriormente la sua robustezza su altre varianti impegnative di Spider e dimostriamo la superiore capacità di generalizzazione di SQL-PaLM. Inoltre, attraverso ampi studi di caso, dimostriamo le impressionanti capacità intelligenti e i vari fattori di successo dei modelli Text-to-SQL basati su LLM.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.