SAFE-SQL: Aprendizaje en Contexto Auto-augmentado con Selección de Ejemplos de Granularidad Fina para Texto-a-SQL

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Autores: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Resumen

Text-to-SQL tiene como objetivo convertir preguntas en lenguaje natural en consultas SQL ejecutables. Si bien enfoques anteriores, como la selección enmascarada de esqueletos, han demostrado un rendimiento sólido al recuperar ejemplos de entrenamiento similares para guiar a los modelos de lenguaje grandes (LLMs), tienen dificultades en escenarios del mundo real donde tales ejemplos no están disponibles. Para superar esta limitación, proponemos Aprendizaje en contexto con Auto-aumentación y Selección de Ejemplos Detallados para Text-to-SQL (SAFE-SQL), un marco novedoso que mejora la generación de SQL mediante la generación y filtrado de ejemplos auto-aumentados. SAFE-SQL primero solicita a un LLM que genere múltiples ejemplos de Text-to-SQL relevantes para la entrada de prueba. Luego, SAFE-SQL filtra estos ejemplos a través de tres evaluaciones de relevancia, construyendo ejemplos de aprendizaje en contexto de alta calidad. Utilizando ejemplos auto-generados, SAFE-SQL supera los marcos anteriores de Text-to-SQL de cero disparos y pocos disparos, logrando una mayor precisión de ejecución. Es destacable que nuestro enfoque proporciona ganancias de rendimiento adicionales en escenarios extra difíciles y no vistos, donde los métodos convencionales a menudo fallan.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.