SAFE-SQL: Selbst-erweitertes In-Context-Lernen mit feinkörniger Beispielauswahl für Text-to-SQL

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Autoren: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Zusammenfassung

Text-to-SQL zielt darauf ab, natürlichsprachliche Fragen in ausführbare SQL-Abfragen umzuwandeln. Während frühere Ansätze wie die Skelettmaskenauswahl durch das Abrufen ähnlicher Trainingsbeispiele zur Anleitung großer Sprachmodelle (LLMs) eine starke Leistung gezeigt haben, haben sie Schwierigkeiten in realen Szenarien, in denen solche Beispiele nicht verfügbar sind. Um diese Einschränkung zu überwinden, schlagen wir Selbstaugmentierung im Kontextlernen mit fein abgestimmter Beispielauswahl für Text-to-SQL (SAFE-SQL) vor, ein neuartiges Framework, das die SQL-Generierung verbessert, indem es selbstaugmentierte Beispiele generiert und filtert. SAFE-SQL fordert zunächst ein LLM auf, mehrere Text-to-SQL-Beispiele zu generieren, die für die Testeingabe relevant sind. Anschließend filtert SAFE-SQL diese Beispiele durch drei Relevanzbewertungen, um hochwertige Beispiele im Kontextlernen zu konstruieren. Durch die Verwendung selbstgenerierter Beispiele übertrifft SAFE-SQL die bisherigen Zero-Shot- und Few-Shot-Text-to-SQL-Frameworks und erzielt eine höhere Ausführungsgenauigkeit. Bemerkenswert ist, dass unser Ansatz zusätzliche Leistungssteigerungen in besonders schwierigen und unerwarteten Szenarien bietet, in denen herkömmliche Methoden oft versagen.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.