SAFE-SQL: Apprendimento In-Context Auto-Aumentato con Selezione Fine-Granularità di Esempi per Text-to-SQL

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Autori: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Abstract

Text-to-SQL mira a convertire domande in linguaggio naturale in query SQL eseguibili. Sebbene approcci precedenti, come la selezione con mascheramento dello scheletro, abbiano dimostrato prestazioni solide recuperando esempi di addestramento simili per guidare i grandi modelli linguistici (LLM), essi incontrano difficoltà in scenari reali dove tali esempi non sono disponibili. Per superare questa limitazione, proponiamo l'apprendimento in-context con auto-aumento e selezione di esempi granulari per Text-to-SQL (SAFE-SQL), un framework innovativo che migliora la generazione di SQL generando e filtrando esempi auto-aumentati. SAFE-SQL prima invita un LLM a generare più esempi Text-to-SQL rilevanti per l'input di test. Successivamente, SAFE-SQL filtra questi esempi attraverso tre valutazioni di rilevanza, costruendo esempi di apprendimento in-context di alta qualità. Utilizzando esempi auto-generati, SAFE-SQL supera i precedenti framework Text-to-SQL zero-shot e few-shot, raggiungendo una maggiore accuratezza di esecuzione. In particolare, il nostro approccio fornisce ulteriori miglioramenti delle prestazioni in scenari particolarmente complessi e non visti, dove i metodi convenzionali spesso falliscono.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.