SAFE-SQL: Самоулучшающееся контекстное обучение с тонкой выборкой примеров для преобразования текста в SQL.

SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL

February 17, 2025

Авторы: Jimin Lee, Ingeol Baek, Byeongjeong Kim, Hwanhee Lee

cs.AI

Аннотация

Text-to-SQL направлен на преобразование естественноязыковых вопросов в исполняемые SQL-запросы. В то время как предыдущие подходы, такие как скелетно-маскированный выбор, продемонстрировали высокую производительность, извлекая похожие обучающие примеры для направления крупных языковых моделей (LLM), они испытывают трудности в реальных сценариях, где такие примеры недоступны. Для преодоления этого ограничения мы предлагаем самоувеличение в контекстном обучении с тонким выбором примеров для Text-to-SQL (SAFE-SQL), новую структуру, которая улучшает генерацию SQL путем создания и фильтрации самоувеличенных примеров. SAFE-SQL сначала подталкивает LLM к созданию нескольких примеров Text-to-SQL, соответствующих тестовому вводу. Затем SAFE-SQL фильтрует эти примеры через три оценки релевантности, создавая высококачественные примеры контекстного обучения. Используя самосгенерированные примеры, SAFE-SQL превосходит предыдущие нулевые и малочисленные Text-to-SQL структуры, достигая более высокой точности выполнения. Особенно наш подход обеспечивает дополнительный прирост производительности в дополнительно сложных и невидимых сценариях, где обычные методы часто терпят неудачу.

English

Text-to-SQL aims to convert natural language questions into executable SQL queries. While previous approaches, such as skeleton-masked selection, have demonstrated strong performance by retrieving similar training examples to guide large language models (LLMs), they struggle in real-world scenarios where such examples are unavailable. To overcome this limitation, we propose Self-Augmentation in-context learning with Fine-grained Example selection for Text-to-SQL (SAFE-SQL), a novel framework that improves SQL generation by generating and filtering self-augmented examples. SAFE-SQL first prompts an LLM to generate multiple Text-to-SQL examples relevant to the test input. Then SAFE-SQL filters these examples through three relevance assessments, constructing high-quality in-context learning examples. Using self-generated examples, SAFE-SQL surpasses the previous zero-shot, and few-shot Text-to-SQL frameworks, achieving higher execution accuracy. Notably, our approach provides additional performance gains in extra hard and unseen scenarios, where conventional methods often fail.