Afbeeldingen in Zinnen: Opschaling van Tussengevoegde Instructies voor Geünificeerde Visuele Generatie

Samenvatting

Hoewel recente vooruitgang in multimodale taalmodellen beeldgeneratie mogelijk heeft gemaakt op basis van expressieve multi-beeldinstructies, hebben bestaande methoden moeite om prestaties te behouden onder complexe interleaved instructies. Deze beperking komt voort uit de structurele scheiding van afbeeldingen en tekst in huidige paradigma's, die modellen dwingt om moeilijke langeafstandsafhankelijkheden te overbruggen om beschrijvingen met visuele doelen te matchen. Om deze uitdagingen aan te pakken, stellen wij Images iN SEnTences (ook wel INSET) voor, een uniform generatiemodel dat afbeeldingen naadloos inbedt als eigen vocabulaire binnen tekstuele instructies. Door visuele kenmerken rechtstreeks op hun corresponderende semantische posities te plaatsen, maakt INSET gebruik van de contextuele lokaliteit van transformatoren voor precieze objectbinding, waarbij afbeeldingen effectief worden behandeld als dichte, expressieve taaltokens. Bovendien introduceren wij een schaalbare data-engine die 15M hoogwaardige interleaved samples synthetiseert uit standaard beeld- en videodatasets, waarbij VLM's en LLM's worden gebruikt om rijke, langdurige sequenties te construeren. Evaluatieresultaten op InterleaveBench tonen aan dat INSET aanzienlijk beter presteert dan state-of-the-art methoden in multi-beeldconsistentie en tekstalignering, waarbij de prestatieverschillen groter worden naarmate de invoercomplexiteit toeneemt. Naast standaardgeneratie breidt onze aanpak inherent uit naar multimodale beeldbewerking, waarbij visuele inhoud als onderdeel van de instructie wordt geïntegreerd om zeer expressieve en creatieve visuele manipulaties mogelijk te maken.

English

While recent advancements in multimodal language models have enabled image generation from expressive multi-image instructions, existing methods struggle to maintain performance under complex interleaved instructions. This limitation stems from the structural separation of images and text in current paradigms, which forces models to bridge difficult long-range dependencies to match descriptions with visual targets. To address these challenges, we propose Images iN SEnTences (a.k.a, INSET), a unified generation model that seamlessly embeds images as native vocabulary within textual instructions. By positioning visual features directly at their corresponding semantic slots, INSET leverages the contextual locality of transformers for precise object binding, effectively treating images as dense, expressive language tokens. Furthermore, we introduce a scalable data engine that synthesizes 15M high-quality interleaved samples from standard image and video datasets, utilizing VLMs and LLMs to construct rich, long-horizon sequences. Evaluation results on InterleaveBench demonstrate that INSET significantly outperforms state-of-the-art methods in multi-image consistency and text alignment, with performance gaps widening as input complexity increases. Beyond standard generation, our approach inherently extends to multimodal image editing, integrating visual content as part of the instruction to facilitate highly expressive and creative visual manipulations.