PARROT: Бенчмарк для оценки языковых моделей в кросс-системном переводе SQL
PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
September 27, 2025
Авторы: Wei Zhou, Guoliang Li, Haoyu Wang, Yuxing Han, Xufei Wu, Fan Wu, Xuanhe Zhou
cs.AI
Аннотация
Крупные языковые модели (LLM) демонстрируют растущую эффективность в задачах преобразования текста в SQL (Text-to-SQL). Однако другая тесно связанная проблема — кросс-системный перевод SQL (также известный как SQL-to-SQL), который адаптирует запрос, написанный для одной системы баз данных (например, MySQL), в эквивалентный запрос для другой системы (например, ClickHouse), имеет большое практическое значение, но остается недостаточно изученной. Существующие бенчмарки SQL не подходят для оценки SQL-to-SQL, так как (1) они сосредоточены на ограниченном наборе систем баз данных (часто только SQLite) и (2) не могут охватить множество системно-специфичных диалектов SQL (например, пользовательские функции, типы данных и синтаксические правила). Поэтому в данной работе мы представляем PARROT — практический и реалистичный бенчмарк для кросс-системного перевода SQL. PARROT включает 598 пар переводов из 38 открытых бенчмарков и реальных бизнес-сервисов, специально подготовленных для проверки понимания системно-специфичных SQL (например, LLM демонстрируют точность ниже 38,53% в среднем). Мы также предоставляем несколько вариантов бенчмарка, включая PARROT-Diverse с 28 003 переводами (для тестирования широкого спектра синтаксиса) и PARROT-Simple с 5 306 репрезентативными образцами (для целенаправленного стресс-тестирования), охватывающих 22 промышленные системы баз данных. Для содействия будущим исследованиям мы публикуем открытый рейтинг и исходный код по адресу: https://code4db.github.io/parrot-bench/.
English
Large language models (LLMS) have shown increasing effectiveness in
Text-to-SQL tasks. However, another closely related problem, Cross-System SQL
Translation (a.k.a., SQL-to-SQL), which adapts a query written for one database
system (e.g., MySQL) into its equivalent one for another system (e.g.,
ClickHouse), is of great practical importance but remains underexplored.
Existing SQL benchmarks are not well-suited for SQL-to-SQL evaluation, which
(1) focus on a limited set of database systems (often just SQLite) and (2)
cannot capture many system-specific SQL dialects (e.g., customized functions,
data types, and syntax rules). Thus, in this paper, we introduce PARROT, a
Practical And Realistic BenchmaRk for CrOss-System SQL Translation. PARROT
comprises 598 translation pairs from 38 open-source benchmarks and real-world
business services, specifically prepared to challenge system-specific SQL
understanding (e.g., LLMS achieve lower than 38.53% accuracy on average). We
also provide multiple benchmark variants, including PARROT-Diverse with 28,003
translations (for extensive syntax testing) and PARROT-Simple with 5,306
representative samples (for focused stress testing), covering 22
production-grade database systems. To promote future research, we release a
public leaderboard and source code at: https://code4db.github.io/parrot-bench/.