LLMSQL: Atualizando o WikiSQL para a Era dos LLMs em Texto-para-SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

September 27, 2025

Autores: Dzmitry Pihulski, Karol Charchut, Viktoria Novogrodskaia, Jan Kocoń

cs.AI

Resumo

A conversão de perguntas em linguagem natural para consultas SQL (Text-to-SQL) permite que usuários não especialistas interajam com bancos de dados relacionais e tem sido uma tarefa central para interfaces de linguagem natural voltadas a dados. Embora o conjunto de dados WikiSQL tenha desempenhado um papel importante nas primeiras pesquisas em NL2SQL, seu uso diminuiu devido a problemas estruturais e de anotação, incluindo inconsistências na sensibilidade a maiúsculas e minúsculas, incompatibilidades de tipos de dados, erros de sintaxe e perguntas não respondidas. Apresentamos o LLMSQL, uma revisão e transformação sistemática do WikiSQL projetada para a era dos LLMs. Classificamos esses erros e implementamos métodos automatizados para limpeza e reanotação. Para avaliar o impacto dessas melhorias, testamos vários modelos de linguagem de grande escala (LLMs), incluindo Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 e outros. Em vez de servir como uma atualização, o LLMSQL é introduzido como um benchmark pronto para LLMs: ao contrário do WikiSQL original, projetado para modelos de rede de ponteiros que selecionam tokens da entrada, o LLMSQL fornece perguntas em linguagem natural limpas e consultas SQL completas como texto simples, permitindo geração e avaliação diretas para modelos modernos de conversão de linguagem natural para SQL.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.