Semantisch Bladeren: Beheersbare Diversiteit voor Beeldgeneratie

Samenvatting

Moderne tekst-naar-beeld modellen excelleren in visuele getrouwheid en promptnaleving. Deze strikte naleving gaat echter ten koste van diversiteit: gegenereerde samples neigen naar één enkele visuele interpretatie. Bestaande methoden om diversiteit te verbeteren leveren uitkomsten op die worden gedreven door toevallige variaties in plaats van betekenisvolle ontwerpkeuzes. Dit motiveert een nieuwe variant van de diversiteitstaak waarbij structuur wordt opgelegd aan de gegenereerde samples. We introduceren een methode voor gecontroleerde diversiteit die Semantic Browsing mogelijk maakt, waarbij gebruikers door gestructureerde beeldgalerijen kunnen navigeren en creatieve verkenning ervaren via een systematische doorloop van betekenisvolle, interpreteerbare variatieassen. Het bereiken van dit niveau van semantische controle vereist een diep begrip van de scène. We maken gebruik van het feit dat recente tekst-naar-beeld modellen zijn getraind op uitgebreide bijschriften, waardoor semantische besluitvorming effectief wordt ontkoppeld van pixelgeneratie. Dit maakt een paradigmaverschuiving mogelijk: in plaats van te vertrouwen op stochastische variatie binnen het tekst-naar-beeld model, veroorzaken we diversiteit direct op tekstniveau. Door gebruik te maken van rijke tekstuele representaties laten we een Vision Language Model (VLM) opereren op de volledige scènecontext. Om de generieke uitkomsten te overwinnen die typisch zijn voor standaard VLM's, hanteren we een agentische workflow die expliciet gestructureerde variatie afdwingt die is afgestemd op de oorspronkelijke prompt. We tonen aan dat onze methode diverse en navigeerbare ontwerpruimten produceert waarin elke variatie overeenkomt met een specifieke, voor de gebruiker begrijpelijke semantische beslissing.

English

Modern text-to-image models excel in visual fidelity and prompt adherence. However, this strict adherence comes at the cost of diversity: generated samples tend to collapse into a single visual interpretation. Existing methods to improve diversity produce outputs driven by incidental variations rather than meaningful design choices. This motivates a new variant of the diversity task where structure is enforced on the generated samples. We introduce a method for controlled diversity that enables Semantic Browsing, where users can navigate structured image galleries and experience creative exploration through a systematic traversal of meaningful, interpretable axes of variation. Achieving this level of semantic control requires a deep understanding of the scene. We exploit the fact that recent text-to-image models are trained on elaborated captions, effectively decoupling semantic decision-making from pixel generation. This enables a paradigm shift: instead of relying on stochastic variation within the text-to-image model, we induce diversity directly at the text level. By leveraging rich textual representations, we allow a Vision Language Model (VLM) to operate on the full scene context. To overcome the generic outputs typical of standard VLMs, we employ an agentic workflow that explicitly enforces structured variation attuned to the original prompt. We demonstrate that our method produces diverse and navigable design spaces where every variation corresponds to a specific, user-understandable semantic decision.