SAFE-SQL: Zelf-versterkt in-context leren met fijnmazige voorbeeldselectie voor tekst-naar-SQL.

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Auteurs: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Samenvatting

Text-to-SQL heeft als doel natuurlijke taalvragen om te zetten in uitvoerbare SQL-query's. Terwijl eerdere benaderingen, zoals skelet-maskerselectie, sterke prestaties hebben aangetoond door vergelijkbare trainingsvoorbeelden op te halen om grote taalmodellen (LLM's) te begeleiden, worstelen ze in real-world scenario's waar dergelijke voorbeelden niet beschikbaar zijn. Om deze beperking te overwinnen, stellen we Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL) voor, een nieuw raamwerk dat SQL-generatie verbetert door zelf-augmented voorbeelden te genereren en filteren. SAFE-SQL vraagt eerst een LLM om meerdere Text-to-SQL-voorbeelden te genereren die relevant zijn voor de testinvoer. Vervolgens filtert SAFE-SQL deze voorbeelden door middel van drie relevantiebeoordelingen, waarbij hoogwaardige in-context leervoorbeelden worden geconstrueerd. Met zelf gegenereerde voorbeelden overtreft SAFE-SQL de vorige zero-shot en few-shot Text-to-SQL-raamwerken, met een hogere uitvoeringsnauwkeurigheid. Opmerkelijk is dat onze aanpak extra prestatieverbeteringen biedt in extra moeilijke en ongeziene scenario's, waar conventionele methoden vaak tekortschieten.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.