LLMSQL: WikiSQL upgraden voor het LLM-tijdperk van Text-to-SQL

Samenvatting

Het omzetten van natuurlijke taalvragen naar SQL-query's (Text-to-SQL) stelt niet-deskundige gebruikers in staat om te interageren met relationele databases en is al lang een centrale taak voor natuurlijke taalinterfaces naar data. Hoewel de WikiSQL-dataset een sleutelrol speelde in het vroege NL2SQL-onderzoek, is het gebruik ervan afgenomen vanwege structurele en annotatieproblemen, waaronder inconsistenties in hoofdlettergevoeligheid, mismatches in gegevenstypen, syntaxfouten en onbeantwoorde vragen. Wij presenteren LLMSQL, een systematische revisie en transformatie van WikiSQL, ontworpen voor het LLM-tijdperk. We classificeren deze fouten en implementeren geautomatiseerde methoden voor het opschonen en opnieuw annoteren. Om de impact van deze verbeteringen te beoordelen, hebben we meerdere grote taalmodellen (LLM's) geëvalueerd, waaronder Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 en anderen. In plaats van te dienen als een update, wordt LLMSQL geïntroduceerd als een LLM-ready benchmark: in tegenstelling tot de originele WikiSQL, die is afgestemd op pointer-netwerkmodellen die tokens selecteren uit de invoer, biedt LLMSQL schone natuurlijke taalvragen en volledige SQL-query's als platte tekst, wat een eenvoudige generatie en evaluatie mogelijk maakt voor moderne natuurlijke taal-naar-SQL-modellen.

English

Converting natural language questions into SQL queries (Text-to-SQL) enables non-expert users to interact with relational databases and has long been a central task for natural language interfaces to data. While the WikiSQL dataset played a key role in early NL2SQL research, its usage has declined due to structural and annotation issues, including case sensitivity inconsistencies, data type mismatches, syntax errors, and unanswered questions. We present LLMSQL, a systematic revision and transformation of WikiSQL designed for the LLM era. We classify these errors and implement automated methods for cleaning and re-annotation. To assess the impact of these improvements, we evaluated multiple large language models (LLMs), including Gemma 3, LLaMA 3.2, Mistral 7B, gpt-oss 20B, Phi-3.5 Mini, Qwen 2.5, OpenAI o4-mini, DeepSeek R1 and others. Rather than serving as an update, LLMSQL is introduced as an LLM-ready benchmark: unlike the original WikiSQL, tailored for pointer-network models selecting tokens from input, LLMSQL provides clean natural language questions and full SQL queries as plain text, enabling straightforward generation and evaluation for modern natural language-to-SQL models.

LLMSQL: WikiSQL upgraden voor het LLM-tijdperk van Text-to-SQL

LLMSQL: Upgrading WikiSQL for the LLM Era of Text-to-SQL

Samenvatting

Support