Navegação Semântica: Diversidade Controlável para Geração de Imagens

Resumo

Os modelos modernos de texto para imagem se destacam na fidelidade visual e na aderência às instruções. No entanto, essa aderência estrita ocorre às custas da diversidade: as amostras geradas tendem a convergir para uma única interpretação visual. Os métodos existentes para melhorar a diversidade produzem resultados impulsionados por variações incidentais, em vez de escolhas de design significativas. Isso motiva uma nova variante da tarefa de diversidade, na qual a estrutura é imposta às amostras geradas. Apresentamos um método para diversidade controlada que possibilita a Navegação Semântica, permitindo que os usuários explorem galerias de imagens estruturadas e vivenciem uma exploração criativa por meio de uma travessia sistemática de eixos de variação significativos e interpretáveis. Alcançar esse nível de controle semântico exige uma compreensão profunda da cena. Exploramos o fato de que modelos recentes de texto para imagem são treinados em legendas elaboradas, efetivamente separando a tomada de decisão semântica da geração de pixels. Isso possibilita uma mudança de paradigma: em vez de depender da variação estocástica dentro do modelo de texto para imagem, induzimos diversidade diretamente no nível do texto. Ao aproveitar representações textuais ricas, permitimos que um Modelo de Linguagem Visual (VLM) opere no contexto completo da cena. Para superar os resultados genéricos típicos de VLMs padrão, empregamos um fluxo de trabalho baseado em agentes que impõe explicitamente uma variação estruturada sintonizada com a instrução original. Demonstramos que nosso método produz espaços de design diversos e navegáveis, onde cada variação corresponde a uma decisão semântica específica e compreensível pelo usuário.

English

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.