LLMSQL: Actualización de WikiSQL para la era de los LLM en la conversión de texto a SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

September 27, 2025

Autores: Dzmitry Pihulski, Karol Charchut, Viktoria Novogrodskaia, Jan Kocoń

cs.AI

Resumen

La conversión de preguntas en lenguaje natural a consultas SQL (Text-to-SQL) permite a usuarios no expertos interactuar con bases de datos relacionales y ha sido durante mucho tiempo una tarea central para las interfaces de lenguaje natural orientadas a datos. Si bien el conjunto de datos WikiSQL desempeñó un papel clave en las primeras investigaciones sobre NL2SQL, su uso ha disminuido debido a problemas estructurales y de anotación, como inconsistencias en la sensibilidad a mayúsculas, desajustes en los tipos de datos, errores de sintaxis y preguntas sin respuesta. Presentamos LLMSQL, una revisión y transformación sistemática de WikiSQL diseñada para la era de los modelos de lenguaje grandes (LLM). Clasificamos estos errores e implementamos métodos automatizados para la limpieza y reanotación. Para evaluar el impacto de estas mejoras, analizamos múltiples modelos de lenguaje grandes (LLMs), incluyendo Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 y otros. En lugar de ser una actualización, LLMSQL se introduce como un punto de referencia listo para LLM: a diferencia del WikiSQL original, diseñado para modelos de red de punteros que seleccionan tokens de la entrada, LLMSQL proporciona preguntas en lenguaje natural limpias y consultas SQL completas en texto plano, lo que permite una generación y evaluación directa para los modelos modernos de lenguaje natural a SQL.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.