Onde, O Quê, Por Que e Importância: Fundamentação Estruturada de Defeitos para Feedback Texto-para-Imagem

Resumo

Apesar de gerarem imagens cada vez mais fotorrealistas, os modelos de texto para imagem (T2I) ainda apresentam falhas localizadas, sutis e estruturalmente complexas. Diagnosticar essas falhas requer feedback em nível de instância que responda onde ocorre um defeito, qual é o seu tipo, por que é defeituoso e sua importância para a qualidade geral da imagem. Embora métodos recentes de feedback denso superem a supervisão escalar, suas representações centradas em mapas de calor ainda formulam o diagnóstico como regressão em campos de pixels, dificultando a localização de defeitos de cardinalidade variável e a vinculação de razões semânticas a falhas individuais. Para resolver esse gargalo de representação, propomos a Fundamentação Estruturada de Defeitos (SDG), que aborda o diagnóstico de T2I como predição de conjuntos estruturados, modelando cada defeito como uma tupla (localização, tipo, razão, importância). Para tornar essa formulação treinável e mensurável, apresentamos o SDG-30K, um conjunto de dados com 30.000 imagens e anotações baseadas em caixas delimitadoras de quatro geradores T2I modernos, juntamente com um protocolo de avaliação dedicado, o SDG-Eval. Com base nessa representação estruturada, apresentamos ainda um framework de diagnóstico para alinhamento no qual um Modelo de Visão e Linguagem (VLM) atua como detector SDG, e o BoxFlow-GRPO converte conjuntos de defeitos previstos em recompensas espaciais ponderadas por importância, derivadas de caixas, para alinhamento de modelos de difusão. Experimentos extensivos mostram que nosso detector SDG supera VLMs proprietários de ponta na fundamentação estruturada de defeitos, enquanto as recompensas guiadas por SDG melhoram consistentemente o alinhamento de T2I e suportam refinamento localizado de imagens. Esses resultados estabelecem o SDG como uma interface unificada em nível de instância para diagnosticar, avaliar e aprimorar modelos generativos modernos.

English

Despite generating increasingly photorealistic images, text-to-image (T2I) models still exhibit localized, subtle, and structurally complex failures. Diagnosing these failures requires instance-level feedback that answers where a defect occurs, what type it is, why it is defective, and its importance to overall image quality. While recent dense-feedback methods move beyond scalar supervision, their heatmap-centric representations still formulate diagnosis as pixel-field regression, making it difficult to localize variable-cardinality defects and bind semantic reasons to individual failures. To address this representation bottleneck, we propose Structured Defect Grounding (SDG), which casts T2I diagnosis as structured set prediction by modeling each defect as a (location, type, reason, importance) tuple. To make this formulation trainable and measurable, we introduce SDG-30K, a 30K-image dataset with box-grounded annotations across four modern T2I generators, together with a dedicated evaluation protocol, SDG-Eval. Building on this structured representation, we further present a diagnosis-to-alignment framework in which a Vision-Language Model (VLM) serves as the SDG detector, and BoxFlow-GRPO converts predicted defect sets into box-derived, importance-weighted spatial rewards for diffusion model alignment. Extensive experiments show that our SDG detector outperforms leading proprietary VLMs on structured defect grounding, while SDG-guided rewards consistently improve T2I alignment and support localized image refinement. These results establish SDG as a unified, instance-level interface for diagnosing, evaluating, and enhancing modern generative models.