LLMSQL : Modernisation de WikiSQL pour l'ère des LLM dans la conversion de texte en SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

September 27, 2025

papers.authors: Dzmitry Pihulski, Karol Charchut, Viktoria Novogrodskaia, Jan Kocoń

cs.AI

papers.abstract

La conversion de questions en langage naturel en requêtes SQL (Text-to-SQL) permet aux utilisateurs non experts d'interagir avec des bases de données relationnelles et constitue depuis longtemps une tâche centrale pour les interfaces en langage naturel dédiées aux données. Bien que le jeu de données WikiSQL ait joué un rôle clé dans les premières recherches sur le NL2SQL, son utilisation a diminué en raison de problèmes structurels et d'annotation, notamment des incohérences de sensibilité à la casse, des incompatibilités de types de données, des erreurs de syntaxe et des questions sans réponse. Nous présentons LLMSQL, une révision et une transformation systématique de WikiSQL conçue pour l'ère des LLM. Nous classifions ces erreurs et mettons en œuvre des méthodes automatisées de nettoyage et de ré-annotation. Pour évaluer l'impact de ces améliorations, nous avons testé plusieurs grands modèles de langage (LLM), notamment Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 et d'autres. Plutôt que de servir de mise à jour, LLMSQL est introduit comme un benchmark prêt pour les LLM : contrairement au WikiSQL original, conçu pour des modèles à réseau de pointeurs sélectionnant des tokens en entrée, LLMSQL fournit des questions en langage naturel propres et des requêtes SQL complètes sous forme de texte brut, permettant une génération et une évaluation directes pour les modèles modernes de conversion du langage naturel en SQL.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.