LLMSQL: Модернизация WikiSQL для эпохи языковых моделей в преобразовании текста в SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

September 27, 2025

Авторы: Dzmitry Pihulski, Karol Charchut, Viktoria Novogrodskaia, Jan Kocoń

cs.AI

Аннотация

Преобразование естественно-языковых вопросов в SQL-запросы (Text-to-SQL) позволяет неэкспертным пользователям взаимодействовать с реляционными базами данных и долгое время оставалось ключевой задачей для естественно-языковых интерфейсов к данным. Хотя набор данных WikiSQL сыграл важную роль в ранних исследованиях NL2SQL, его использование сократилось из-за структурных и аннотационных проблем, включая несоответствия в регистре символов, ошибки в типах данных, синтаксические ошибки и вопросы без ответов. Мы представляем LLMSQL — систематическую переработку и преобразование WikiSQL, адаптированное для эпохи больших языковых моделей (LLM). Мы классифицируем эти ошибки и реализуем автоматизированные методы очистки и повторной аннотации. Чтобы оценить влияние этих улучшений, мы протестировали несколько крупных языковых моделей, включая Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 и другие. В отличие от обновления, LLMSQL представлен как готовый к использованию с LLM бенчмарк: в отличие от оригинального WikiSQL, ориентированного на модели с указателями, выбирающие токены из входных данных, LLMSQL предоставляет чистые естественно-языковые вопросы и полные SQL-запросы в виде простого текста, что упрощает генерацию и оценку для современных моделей преобразования естественного языка в SQL.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.