SQL-PaLM: Улучшенная адаптация больших языковых моделей для преобразования текста в SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

May 26, 2023

Авторы: Ruoxi Sun, Sercan O Arik, Hootan Nakhost, Hanjun Dai, Rajarishi Sinha, Pengcheng Yin, Tomas Pfister

cs.AI

Аннотация

Одной из впечатляющих возникающих способностей крупных языковых моделей (LLM) является генерация кода, включая язык структурированных запросов (SQL) для баз данных. Для задачи преобразования текста на естественном языке в SQL-запросы, известной как Text-to-SQL, адаптация LLM имеет первостепенное значение как в контекстном обучении, так и в настройке с тонкой настройкой, в зависимости от объема используемых данных для адаптации. В данной статье мы предлагаем модель Text-to-SQL на основе LLM под названием SQL-PaLM, основанную на PaLM-2, которая устанавливает новый уровень в обеих настройках. Модель SQL-PaLM с использованием нескольких примеров основана на подходе к самосогласованному запросу, ориентированному на выполнение, специально разработанном для Text-to-SQL, и достигает 77,3% точности на тестовом наборе Spider, что, насколько нам известно, впервые значительно превосходит предыдущий уровень с тонкой настройкой на 4%. Более того, мы показываем, что тонко настроенная SQL-PaLM превосходит этот результат еще на 1%. Для применения SQL-PaLM в реальных сценариях мы дополнительно оцениваем ее устойчивость на других сложных вариантах Spider и демонстрируем превосходные обобщающие способности SQL-PaLM. Кроме того, с помощью обширных кейс-стади мы демонстрируем впечатляющие интеллектуальные возможности и различные факторы успеха LLM-моделей Text-to-SQL.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.