SQL-PaLM: Melhoria na Adaptação de Modelos de Linguagem de Grande Escala para Texto-para-SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Autores: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Resumo

Uma capacidade impressionante emergente dos grandes modelos de linguagem (LLMs) é a geração de código, incluindo a Linguagem de Consulta Estruturada (SQL) para bancos de dados. Para a tarefa de converter texto em linguagem natural em consultas SQL, conhecida como Text-to-SQL, a adaptação de LLMs é de extrema importância, tanto no aprendizado em contexto quanto em configurações de ajuste fino, dependendo da quantidade de dados de adaptação utilizados. Neste artigo, propomos um modelo Text-to-SQL baseado em LLM chamado SQL-PaLM, que utiliza o PaLM-2 e avança o estado da arte em ambas as configurações. O SQL-PaLM em poucos exemplos é baseado em uma abordagem de prompt de autocoerência baseada em execução projetada para Text-to-SQL e alcança 77,3% de precisão no conjunto de testes do Spider, o que, até onde sabemos, é o primeiro a superar significativamente o estado da arte anterior com ajuste fino por uma margem de 4%. Além disso, demonstramos que o SQL-PaLM ajustado supera ainda mais esse desempenho em mais 1%. Para aplicar o SQL-PaLM em cenários do mundo real, avaliamos ainda mais sua robustez em outras variantes desafiadoras do Spider e demonstramos a capacidade de generalização superior do SQL-PaLM. Adicionalmente, por meio de estudos de caso extensivos, demonstramos as impressionantes capacidades inteligentes e os diversos fatores de sucesso dos modelos Text-to-SQL baseados em LLM.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.