PARROT : Un Benchmark pour l'Évaluation des Modèles de Langage dans la Traduction SQL Inter-Systèmes

PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation

September 27, 2025

papers.authors: Wei Zhou, Guoliang Li, Haoyu Wang, Yuxing Han, Xufei Wu, Fan Wu, Xuanhe Zhou

cs.AI

papers.abstract

Les grands modèles de langage (LLM) ont démontré une efficacité croissante dans les tâches de conversion de texte en SQL (Text-to-SQL). Cependant, un autre problème étroitement lié, la traduction SQL inter-systèmes (ou SQL-to-SQL), qui consiste à adapter une requête écrite pour un système de base de données (par exemple, MySQL) en son équivalent pour un autre système (par exemple, ClickHouse), revêt une importance pratique considérable mais reste peu exploré. Les benchmarks SQL existants ne sont pas bien adaptés à l'évaluation SQL-to-SQL, car (1) ils se concentrent sur un ensemble limité de systèmes de base de données (souvent uniquement SQLite) et (2) ils ne peuvent pas capturer de nombreux dialectes SQL spécifiques aux systèmes (par exemple, fonctions personnalisées, types de données et règles de syntaxe). Ainsi, dans cet article, nous introduisons PARROT, un benchmark pratique et réaliste pour la traduction SQL inter-systèmes. PARROT comprend 598 paires de traductions issues de 38 benchmarks open source et de services commerciaux réels, spécifiquement préparées pour mettre à l'épreuve la compréhension des dialectes SQL spécifiques aux systèmes (par exemple, les LLM obtiennent en moyenne une précision inférieure à 38,53 %). Nous proposons également plusieurs variantes du benchmark, notamment PARROT-Diverse avec 28 003 traductions (pour des tests de syntaxe approfondis) et PARROT-Simple avec 5 306 échantillons représentatifs (pour des tests de stress ciblés), couvrant 22 systèmes de base de données de niveau production. Pour promouvoir les recherches futures, nous mettons à disposition un classement public et le code source à l'adresse suivante : https://code4db.github.io/parrot-bench/.

English

Large language models (LLMS) have shown increasing effectiveness in Text-to-SQL tasks. However, another closely related problem, Cross-System SQL Translation (a.k.a., SQL-to-SQL), which adapts a query written for one database system (e.g., MySQL) into its equivalent one for another system (e.g., ClickHouse), is of great practical importance but remains underexplored. Existing SQL benchmarks are not well-suited for SQL-to-SQL evaluation, which (1) focus on a limited set of database systems (often just SQLite) and (2) cannot capture many system-specific SQL dialects (e.g., customized functions, data types, and syntax rules). Thus, in this paper, we introduce PARROT, a Practical And Realistic BenchmaRk for CrOss-System SQL Translation. PARROT comprises 598 translation pairs from 38 open-source benchmarks and real-world business services, specifically prepared to challenge system-specific SQL understanding (e.g., LLMS achieve lower than 38.53% accuracy on average). We also provide multiple benchmark variants, including PARROT-Diverse with 28,003 translations (for extensive syntax testing) and PARROT-Simple with 5,306 representative samples (for focused stress testing), covering 22 production-grade database systems. To promote future research, we release a public leaderboard and source code at: https://code4db.github.io/parrot-bench/.