Struct-Bench: Бенчмарк для генерации структурированного текста с дифференциальной приватностью

Struct-Bench: A Benchmark for Differentially Private Structured Text Generation

September 12, 2025

Авторы: Shuaiqi Wang, Vikas Raunak, Arturs Backurs, Victor Reis, Pei Zhou, Sihao Chen, Longqi Yang, Zinan Lin, Sergey Yekhanin, Giulia Fanti

cs.AI

Аннотация

Генерация синтетических данных с дифференциальной приватностью (DP) представляет собой перспективный метод использования приватных наборов данных, которые в противном случае не могут быть раскрыты для обучения моделей или других аналитических задач. Хотя значительная часть научной литературы сосредоточена на генерации приватных неструктурированных текстовых и графических данных, в корпоративной среде более распространены структурированные данные (например, табличные), часто включающие поля или компоненты с естественным языком. Существующие методы оценки синтетических данных (например, FID) с трудом учитывают структурные свойства и корреляции таких наборов данных. В данной работе мы предлагаем Struct-Bench — фреймворк и эталонный набор для оценки синтетических данных, полученных из структурированных наборов, содержащих данные на естественном языке. Фреймворк Struct-Bench требует от пользователей предоставления представления структуры их набора данных в виде контекстно-свободной грамматики (КСГ). Наш эталонный набор включает 5 реальных и 2 синтетически сгенерированных набора данных, каждый из которых аннотирован КСГ. Мы показываем, что эти наборы данных представляют значительную сложность даже для современных методов генерации синтетических данных с DP. Struct-Bench также включает эталонные реализации различных метрик и таблицу лидеров, предоставляя исследователям стандартизированную платформу для оценки и изучения методов генерации синтетических данных с сохранением приватности. Кроме того, мы представляем кейс-стади, демонстрирующий, как использовать Struct-Bench для улучшения качества синтетических данных, генерируемых методом Private Evolution (PE) на структурированных данных. Эталонный набор и таблица лидеров доступны публично по адресу https://struct-bench.github.io.

English

Differentially private (DP) synthetic data generation is a promising technique for utilizing private datasets that otherwise cannot be exposed for model training or other analytics. While much research literature has focused on generating private unstructured text and image data, in enterprise settings, structured data (e.g., tabular) is more common, often including natural language fields or components. Existing synthetic data evaluation techniques (e.g., FID) struggle to capture the structural properties and correlations of such datasets. In this work, we propose Struct-Bench, a framework and benchmark for evaluating synthetic datasets derived from structured datasets that contain natural language data. The Struct-Bench framework requires users to provide a representation of their dataset structure as a Context-Free Grammar (CFG). Our benchmark comprises 5 real-world and 2 synthetically generated datasets, each annotated with CFGs. We show that these datasets demonstrably present a great challenge even for state-of-the-art DP synthetic data generation methods. Struct-Bench also includes reference implementations of different metrics and a leaderboard, thereby providing researchers a standardized evaluation platform to benchmark and investigate privacy-preserving synthetic data generation methods. Further, we also present a case study showing how to use Struct-Bench to improve the synthetic data quality of Private Evolution (PE) on structured data. The benchmark and the leaderboard have been publicly made available at https://struct-bench.github.io.