Dónde, Qué, Por Qué e Importancia: Fundamentación Estructurada de Defectos para la Retroalimentación de Texto a Imagen

Resumen

A pesar de generar imágenes cada vez más fotorrealistas, los modelos de texto a imagen (T2I) todavía presentan fallos localizados, sutiles y estructuralmente complejos. Diagnosticar estos fallos requiere retroalimentación a nivel de instancia que responda dónde ocurre un defecto, de qué tipo es, por qué es defectuoso y su importancia para la calidad general de la imagen. Si bien los métodos recientes de retroalimentación densa van más allá de la supervisión escalar, sus representaciones centradas en mapas de calor siguen formulando el diagnóstico como una regresión en el campo de píxeles, lo que dificulta localizar defectos de cardinalidad variable y vincular razones semánticas a fallos individuales. Para abordar este cuello de botella en la representación, proponemos el Grounding Estructurado de Defectos (SDG, por sus siglas en inglés), que plantea el diagnóstico de T2I como una predicción de conjuntos estructurados, modelando cada defecto como una tupla (ubicación, tipo, razón, importancia). Para hacer que esta formulación sea entrenable y medible, introducimos SDG-30K, un conjunto de datos de 30K imágenes con anotaciones basadas en cajas en cuatro generadores T2I modernos, junto con un protocolo de evaluación dedicado, SDG-Eval. Basándonos en esta representación estructurada, presentamos además un marco de diagnóstico a alineación en el que un Modelo de Visión y Lenguaje (VLM) actúa como detector SDG, y BoxFlow-GRPO convierte los conjuntos de defectos predichos en recompensas espaciales derivadas de cajas y ponderadas por importancia para la alineación del modelo de difusión. Experimentos exhaustivos muestran que nuestro detector SDG supera a los principales VLMs propietarios en el grounding estructurado de defectos, mientras que las recompensas guiadas por SDG mejoran consistentemente la alineación de T2I y respaldan el refinamiento localizado de imágenes. Estos resultados establecen a SDG como una interfaz unificada a nivel de instancia para diagnosticar, evaluar y mejorar modelos generativos modernos.

English

Despite generating increasingly photorealistic images, text-to-image (T2I) models still exhibit localized, subtle, and structurally complex failures. Diagnosing these failures requires instance-level feedback that answers where a defect occurs, what type it is, why it is defective, and its importance to overall image quality. While recent dense-feedback methods move beyond scalar supervision, their heatmap-centric representations still formulate diagnosis as pixel-field regression, making it difficult to localize variable-cardinality defects and bind semantic reasons to individual failures. To address this representation bottleneck, we propose Structured Defect Grounding (SDG), which casts T2I diagnosis as structured set prediction by modeling each defect as a (location, type, reason, importance) tuple. To make this formulation trainable and measurable, we introduce SDG-30K, a 30K-image dataset with box-grounded annotations across four modern T2I generators, together with a dedicated evaluation protocol, SDG-Eval. Building on this structured representation, we further present a diagnosis-to-alignment framework in which a Vision-Language Model (VLM) serves as the SDG detector, and BoxFlow-GRPO converts predicted defect sets into box-derived, importance-weighted spatial rewards for diffusion model alignment. Extensive experiments show that our SDG detector outperforms leading proprietary VLMs on structured defect grounding, while SDG-guided rewards consistently improve T2I alignment and support localized image refinement. These results establish SDG as a unified, instance-level interface for diagnosing, evaluating, and enhancing modern generative models.