Waar, Wat, Waarom en Belang: Gestructureerde Defectgronding voor Tekst-naar-Beeld Feedback

Samenvatting

Ondanks het genereren van steeds fotorealistischere beelden vertonen tekst-naar-beeld (T2I) modellen nog steeds gelokaliseerde, subtiele en structureel complexe fouten. Het diagnosticeren van deze fouten vereist feedback op instantieniveau die aangeeft waar een defect optreedt, welk type het is, waarom het defect is en wat het belang ervan is voor de algehele beeldkwaliteit. Hoewel recente dichte-feedbackmethoden verder gaan dan scalaire supervisie, formuleren hun hittekaartgecentreerde representaties diagnostiek nog steeds als pixelveldregressie, waardoor het moeilijk wordt om defecten met variabele kardinaliteit te lokaliseren en semantische redenen aan individuele fouten te koppelen. Om deze representatieknelpunt aan te pakken, stellen wij Gestructureerde Defectgronding (SDG) voor, die T2I-diagnostiek herformuleert als gestructureerde setvoorspelling door elk defect te modelleren als een (locatie, type, reden, belang)-tupel. Om deze formulering trainbaar en meetbaar te maken, introduceren wij SDG-30K, een dataset van 30.000 beelden met doosgegronde annotaties afkomstig van vier moderne T2I-generatoren, samen met een specifiek evaluatieprotocol, SDG-Eval. Voortbouwend op deze gestructureerde representatie presenteren wij verder een diagnostiek-naar-afstemmingsraamwerk waarin een Visie-Taalmodel (VTM) fungeert als SDG-detector, en BoxFlow-GRPO voorspelde defectsets omzet in van dozen afgeleide, belanggewogen ruimtelijke beloningen voor diffusiemodelafstemming. Uitgebreide experimenten tonen aan dat onze SDG-detector toonaangevende propriëtaire VTM's overtreft in gestructureerde defectgronding, terwijl SDG-gestuurde beloningen consistent de T2I-afstemming verbeteren en gelokaliseerde beeldverfijning ondersteunen. Deze resultaten vestigen SDG als een uniforme interface op instantieniveau voor het diagnosticeren, evalueren en verbeteren van moderne generatieve modellen.

English

Despite generating increasingly photorealistic images, text-to-image (T2I) models still exhibit localized, subtle, and structurally complex failures. Diagnosing these failures requires instance-level feedback that answers where a defect occurs, what type it is, why it is defective, and its importance to overall image quality. While recent dense-feedback methods move beyond scalar supervision, their heatmap-centric representations still formulate diagnosis as pixel-field regression, making it difficult to localize variable-cardinality defects and bind semantic reasons to individual failures. To address this representation bottleneck, we propose Structured Defect Grounding (SDG), which casts T2I diagnosis as structured set prediction by modeling each defect as a (location, type, reason, importance) tuple. To make this formulation trainable and measurable, we introduce SDG-30K, a 30K-image dataset with box-grounded annotations across four modern T2I generators, together with a dedicated evaluation protocol, SDG-Eval. Building on this structured representation, we further present a diagnosis-to-alignment framework in which a Vision-Language Model (VLM) serves as the SDG detector, and BoxFlow-GRPO converts predicted defect sets into box-derived, importance-weighted spatial rewards for diffusion model alignment. Extensive experiments show that our SDG detector outperforms leading proprietary VLMs on structured defect grounding, while SDG-guided rewards consistently improve T2I alignment and support localized image refinement. These results establish SDG as a unified, instance-level interface for diagnosing, evaluating, and enhancing modern generative models.