CheXGenBench: Унифицированный эталон для оценки точности, конфиденциальности и полезности синтетических рентгенограмм грудной клетки

CheXGenBench: A Unified Benchmark For Fidelity, Privacy and Utility of Synthetic Chest Radiographs

May 15, 2025

Авторы: Raman Dutt, Pedro Sanchez, Yongchen Yao, Steven McDonagh, Sotirios A. Tsaftaris, Timothy Hospedales

cs.AI

Аннотация

Мы представляем CheXGenBench — строгую и многогранную систему оценки для генерации синтетических рентгенограмм грудной клетки, которая одновременно оценивает точность, риски конфиденциальности и клиническую полезность в рамках современных моделей генерации изображений на основе текста. Несмотря на быстрый прогресс в области генеративного ИИ для реальных изображений, оценки в медицинской области сталкиваются с методологическими несоответствиями, устаревшими архитектурными сравнениями и разрозненными критериями оценки, которые редко учитывают практическую клиническую ценность синтетических данных. CheXGenBench преодолевает эти ограничения за счет стандартизированного разделения данных и унифицированного протокола оценки, включающего более 20 количественных метрик, которые систематически анализируют качество генерации, потенциальные уязвимости конфиденциальности и применимость в клинической практике для 11 ведущих архитектур генерации изображений на основе текста. Наши результаты выявляют критические недостатки существующих протоколов оценки, особенно в отношении оценки точности генерации, что приводит к противоречивым и малоинформативным сравнениям. Наша система устанавливает стандартизированный бенчмарк для сообщества медицинского ИИ, позволяя проводить объективные и воспроизводимые сравнения, а также обеспечивая бесшовную интеграцию как существующих, так и будущих генеративных моделей. Дополнительно мы публикуем высококачественный синтетический набор данных SynthCheX-75K, содержащий 75 тысяч рентгенограмм, сгенерированных лучшей моделью (Sana 0.6B) в нашем бенчмарке, чтобы поддержать дальнейшие исследования в этой важной области. С помощью CheXGenBench мы устанавливаем новый уровень современных технологий и публикуем нашу систему, модели и набор данных SynthCheX-75K по адресу https://raman1121.github.io/CheXGenBench/.

English

We introduce CheXGenBench, a rigorous and multifaceted evaluation framework for synthetic chest radiograph generation that simultaneously assesses fidelity, privacy risks, and clinical utility across state-of-the-art text-to-image generative models. Despite rapid advancements in generative AI for real-world imagery, medical domain evaluations have been hindered by methodological inconsistencies, outdated architectural comparisons, and disconnected assessment criteria that rarely address the practical clinical value of synthetic samples. CheXGenBench overcomes these limitations through standardised data partitioning and a unified evaluation protocol comprising over 20 quantitative metrics that systematically analyse generation quality, potential privacy vulnerabilities, and downstream clinical applicability across 11 leading text-to-image architectures. Our results reveal critical inefficiencies in the existing evaluation protocols, particularly in assessing generative fidelity, leading to inconsistent and uninformative comparisons. Our framework establishes a standardised benchmark for the medical AI community, enabling objective and reproducible comparisons while facilitating seamless integration of both existing and future generative models. Additionally, we release a high-quality, synthetic dataset, SynthCheX-75K, comprising 75K radiographs generated by the top-performing model (Sana 0.6B) in our benchmark to support further research in this critical domain. Through CheXGenBench, we establish a new state-of-the-art and release our framework, models, and SynthCheX-75K dataset at https://raman1121.github.io/CheXGenBench/