SAFE-SQL : Apprentissage en contexte auto-augmenté avec sélection d'exemples fins pour Text-to-SQL.

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Auteurs: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Résumé

Text-to-SQL vise à convertir des questions en langage naturel en requêtes SQL exécutables. Alors que les approches précédentes, telles que la sélection masquée de squelette, ont démontré de solides performances en récupérant des exemples d'entraînement similaires pour guider de grands modèles de langage (LLM), elles rencontrent des difficultés dans des scénarios réels où de tels exemples ne sont pas disponibles. Pour surmonter cette limitation, nous proposons l'apprentissage en contexte avec auto-augmentation et sélection d'exemples fins pour Text-to-SQL (SAFE-SQL), un nouveau cadre qui améliore la génération SQL en générant et en filtrant des exemples auto-augmentés. SAFE-SQL incite d'abord un LLM à générer plusieurs exemples Text-to-SQL pertinents pour l'entrée de test. Ensuite, SAFE-SQL filtre ces exemples à travers trois évaluations de pertinence, construisant des exemples d'apprentissage en contexte de haute qualité. En utilisant des exemples auto-générés, SAFE-SQL dépasse les précédents cadres Text-to-SQL zéro-shot et few-shot, atteignant une précision d'exécution plus élevée. Notamment, notre approche offre des gains de performance supplémentaires dans des scénarios extra difficiles et inédits, où les méthodes conventionnelles échouent souvent.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.