Navigation sémantique : diversité contrôlable pour la génération d'images

Résumé

Les modèles modernes de texte vers image excellent en termes de fidélité visuelle et de respect des instructions. Cependant, cette adhésion stricte se fait au détriment de la diversité : les échantillons générés tendent à se replier sur une unique interprétation visuelle. Les méthodes existantes pour améliorer la diversité produisent des résultats guidés par des variations fortuites plutôt que par des choix de conception signifiants. Cela motive une nouvelle variante de la tâche de diversité, où une structure est imposée aux échantillons générés. Nous introduisons une méthode de diversité contrôlée qui permet la Navigation Sémantique, où les utilisateurs peuvent parcourir des galeries d'images structurées et expérimenter une exploration créative grâce à un parcours systématique d'axes de variation signifiants et interprétables. Atteindre ce niveau de contrôle sémantique nécessite une compréhension profonde de la scène. Nous exploitons le fait que les modèles récents de texte vers image sont entraînés sur des légendes élaborées, découplant ainsi efficacement la prise de décision sémantique de la génération de pixels. Cela permet un changement de paradigme : au lieu de compter sur la variation stochastique au sein du modèle texte-image, nous induisons la diversité directement au niveau du texte. En tirant parti de représentations textuelles riches, nous permettons à un Modèle de Langage Visuel (VLM) d'opérer sur le contexte complet de la scène. Pour surmonter les sorties génériques typiques des VLM standards, nous employons un flux de travail agentique qui explicite et impose une variation structurée en adéquation avec l'instruction originale. Nous démontrons que notre méthode produit des espaces de conception diversifiés et navigables, où chaque variation correspond à une décision sémantique spécifique et compréhensible par l'utilisateur.

English

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.