LLMSQL: Aufrüstung von WikiSQL für die LLM-Ära von Text-zu-SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

September 27, 2025

papers.authors: Dzmitry Pihulski, Karol Charchut, Viktoria Novogrodskaia, Jan Kocoń

cs.AI

papers.abstract

Die Umwandlung von natürlichen Sprachfragen in SQL-Abfragen (Text-to-SQL) ermöglicht es nicht-experten Nutzern, mit relationalen Datenbanken zu interagieren, und stellt seit langem eine zentrale Aufgabe für natürliche Sprachschnittstellen zu Daten dar. Während der WikiSQL-Datensatz eine Schlüsselrolle in der frühen NL2SQL-Forschung spielte, ist seine Nutzung aufgrund struktureller und Annotationsprobleme zurückgegangen, darunter Inkonsistenzen bei der Groß- und Kleinschreibung, Datentypen-Konflikte, Syntaxfehler und unbeantwortete Fragen. Wir präsentieren LLMSQL, eine systematische Überarbeitung und Transformation von WikiSQL, die für das LLM-Zeitalter konzipiert ist. Wir klassifizieren diese Fehler und implementieren automatisierte Methoden zur Bereinigung und Neuannotation. Um die Auswirkungen dieser Verbesserungen zu bewerten, haben wir mehrere große Sprachmodelle (LLMs) evaluiert, darunter Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 und andere. LLMSQL wird nicht als Aktualisierung eingeführt, sondern als ein LLM-fähiger Benchmark: Im Gegensatz zum ursprünglichen WikiSQL, das für Pointer-Netzwerk-Modelle entwickelt wurde, die Token aus der Eingabe auswählen, bietet LLMSQL saubere natürliche Sprachfragen und vollständige SQL-Abfragen als Klartext, was eine unkomplizierte Generierung und Bewertung für moderne natürliche Sprach-zu-SQL-Modelle ermöglicht.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.