SQL-PaLM: Mejora en la Adaptación de Modelos de Lenguaje de Gran Escala para Texto-a-SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Autores: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Resumen

Una capacidad emergente impresionante de los modelos de lenguaje de gran escala (LLMs) es la generación de código, incluyendo el lenguaje de consulta estructurado (SQL) para bases de datos. Para la tarea de convertir texto en lenguaje natural a consultas SQL, Text-to-SQL, la adaptación de los LLMs es de suma importancia, tanto en el aprendizaje en contexto como en los ajustes finos, dependiendo de la cantidad de datos de adaptación utilizados. En este artículo, proponemos un modelo Text-to-SQL basado en LLM llamado SQL-PaLM, que aprovecha PaLM-2 y avanza el estado del arte en ambos escenarios. SQL-PaLM en modo few-shot se basa en un enfoque de autocoherencia basado en ejecución diseñado para Text-to-SQL, y alcanza un 77,3% de precisión en la suite de pruebas de Spider, lo que, según nuestro conocimiento, es el primero en superar significativamente el estado del arte anterior con ajuste fino por un margen del 4%. Además, demostramos que SQL-PaLM ajustado finamente lo supera aún más en otro 1%. Para aplicar SQL-PaLM en escenarios del mundo real, evaluamos su robustez en otras variantes desafiantes de Spider y demostramos la capacidad de generalización superior de SQL-PaLM. Adicionalmente, a través de extensos estudios de casos, demostramos las impresionantes capacidades inteligentes y diversos factores de éxito de Text-to-SQL basado en LLM.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.