SQL-PaLM : Amélioration de l'adaptation des grands modèles de langage pour la conversion de texte en SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Auteurs: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Résumé

Une capacité émergente impressionnante des grands modèles de langage (LLM) est la génération de code, y compris le langage de requête structuré (SQL) pour les bases de données. Pour la tâche de conversion de texte en langage naturel en requêtes SQL, Text-to-SQL, l'adaptation des LLM est d'une importance primordiale, que ce soit dans des contextes d'apprentissage en contexte ou de fine-tuning, en fonction de la quantité de données d'adaptation utilisées. Dans cet article, nous proposons un modèle Text-to-SQL basé sur les LLM, SQL-PaLM, s'appuyant sur PaLM-2, qui repousse l'état de l'art dans les deux contextes. La version few-shot de SQL-PaLM repose sur une approche d'auto-cohérence basée sur l'exécution, conçue pour Text-to-SQL, et atteint une précision de 77,3 % sur le test-suite de Spider, ce qui, à notre connaissance, est la première fois qu'un modèle surpasse significativement l'état de l'art précédent avec un fine-tuning, avec une marge de 4 %. De plus, nous démontrons que la version fine-tunée de SQL-PaLM le surpasse encore de 1 %. Pour appliquer SQL-PaLM à des scénarios réels, nous évaluons également sa robustesse sur d'autres variantes difficiles de Spider et mettons en évidence la capacité de généralisation supérieure de SQL-PaLM. En outre, à travers des études de cas approfondies, nous démontrons les capacités intelligentes impressionnantes et les divers facteurs de succès des modèles Text-to-SQL basés sur les LLM.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.