PARROT: Ein Benchmark zur Bewertung von LLMs bei der SQL-Übersetzung zwischen Systemen
PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
September 27, 2025
papers.authors: Wei Zhou, Guoliang Li, Haoyu Wang, Yuxing Han, Xufei Wu, Fan Wu, Xuanhe Zhou
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben zunehmende Effektivität bei Text-to-SQL-Aufgaben gezeigt. Ein eng verwandtes Problem, die Cross-System-SQL-Übersetzung (auch bekannt als SQL-to-SQL), bei der eine Abfrage, die für ein Datenbanksystem (z. B. MySQL) geschrieben wurde, in ihre Entsprechung für ein anderes System (z. B. ClickHouse) angepasst wird, ist von großer praktischer Bedeutung, bleibt jedoch weitgehend unerforscht. Bestehende SQL-Benchmarks eignen sich nicht gut für die SQL-to-SQL-Evaluierung, da sie (1) sich auf eine begrenzte Anzahl von Datenbanksystemen (oft nur SQLite) konzentrieren und (2) viele system-spezifische SQL-Dialekte (z. B. angepasste Funktionen, Datentypen und Syntaxregeln) nicht erfassen können. Daher stellen wir in diesem Artikel PARROT vor, einen praktischen und realistischen Benchmark für die Cross-System-SQL-Übersetzung. PARROT umfasst 598 Übersetzungspaare aus 38 Open-Source-Benchmarks und realen Geschäftsdiensten, die speziell dazu entwickelt wurden, das Verständnis für system-spezifische SQL-Abfragen herauszufordern (z. B. erreichen LLMs im Durchschnitt eine Genauigkeit von weniger als 38,53 %). Wir bieten auch mehrere Benchmark-Varianten an, darunter PARROT-Diverse mit 28.003 Übersetzungen (für umfangreiche Syntax-Tests) und PARROT-Simple mit 5.306 repräsentativen Beispielen (für gezielte Stresstests), die 22 produktionsreife Datenbanksysteme abdecken. Um zukünftige Forschung zu fördern, veröffentlichen wir ein öffentliches Leaderboard und den Quellcode unter: https://code4db.github.io/parrot-bench/.
English
Large language models (LLMS) have shown increasing effectiveness in
Text-to-SQL tasks. However, another closely related problem, Cross-System SQL
Translation (a.k.a., SQL-to-SQL), which adapts a query written for one database
system (e.g., MySQL) into its equivalent one for another system (e.g.,
ClickHouse), is of great practical importance but remains underexplored.
Existing SQL benchmarks are not well-suited for SQL-to-SQL evaluation, which
(1) focus on a limited set of database systems (often just SQLite) and (2)
cannot capture many system-specific SQL dialects (e.g., customized functions,
data types, and syntax rules). Thus, in this paper, we introduce PARROT, a
Practical And Realistic BenchmaRk for CrOss-System SQL Translation. PARROT
comprises 598 translation pairs from 38 open-source benchmarks and real-world
business services, specifically prepared to challenge system-specific SQL
understanding (e.g., LLMS achieve lower than 38.53% accuracy on average). We
also provide multiple benchmark variants, including PARROT-Diverse with 28,003
translations (for extensive syntax testing) and PARROT-Simple with 5,306
representative samples (for focused stress testing), covering 22
production-grade database systems. To promote future research, we release a
public leaderboard and source code at: https://code4db.github.io/parrot-bench/.