SQL-PaLM: Verbesserte Anpassung von Large Language Models für Text-zu-SQL

Zusammenfassung

Eine beeindruckende emergente Fähigkeit großer Sprachmodelle (LLMs) ist die Generierung von Code, einschließlich Structured Query Language (SQL) für Datenbanken. Für die Aufgabe der Umwandlung von natürlicher Sprache in SQL-Abfragen, Text-to-SQL, ist die Anpassung von LLMs von entscheidender Bedeutung, sowohl im Kontext von In-Context-Learning als auch im Fine-Tuning, abhängig von der Menge der verwendeten Anpassungsdaten. In diesem Artikel schlagen wir ein LLM-basiertes Text-to-SQL-Modell namens SQL-PaLM vor, das auf PaLM-2 aufbaut und den Stand der Technik in beiden Settings vorantreibt. Few-Shot SQL-PaLM basiert auf einem ausführungsbasierten Self-Consistency-Prompting-Ansatz, der speziell für Text-to-SQL entwickelt wurde, und erreicht eine Test-Suite-Genauigkeit von 77,3 % auf Spider, was nach unserem besten Wissen das erste Mal ist, dass der bisherige Stand der Technik mit Fine-Tuning deutlich übertroffen wird, und zwar um 4 %. Darüber hinaus zeigen wir, dass das feinabgestimmte SQL-PaLM diesen Wert um weitere 1 % übertrifft. Um SQL-PaLM in realen Szenarien anzuwenden, bewerten wir weiterhin seine Robustheit auf anderen herausfordernden Varianten von Spider und demonstrieren die überlegene Generalisierungsfähigkeit von SQL-PaLM. Zusätzlich zeigen wir durch umfangreiche Fallstudien die beeindruckenden intelligenten Fähigkeiten und verschiedenen Erfolgsfaktoren von LLM-basiertem Text-to-SQL.

English

One impressive emergent capability of large language models (LLMs) is generation of code, including Structured Query Language (SQL) for databases. For the task of converting natural language text to SQL queries, Text-to-SQL, adaptation of LLMs is of paramount importance, both in in-context learning and fine-tuning settings, depending on the amount of adaptation data used. In this paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is based on an execution-based self-consistency prompting approach designed for Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our best knowledge is the first to outperform previous state-of-the-art with fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying SQL-PaLM to real-world scenarios we further evaluate its robustness on other challenging variants of Spider and demonstrate the superior generalization capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate the impressive intelligent capabilities and various success enablers of LLM-based Text-to-SQL.

SQL-PaLM: Verbesserte Anpassung von Large Language Models für Text-zu-SQL

SQL-PaLM: Improved Large Language ModelAdaptation for Text-to-SQL

Zusammenfassung

Support