Bilder in Sätzen: Skalierung verschachtelter Anweisungen für einheitliche visuelle Generierung

Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation

May 12, 2026

Autoren: Yabo Zhang, Kunchang Li, Dewei Zhou, Xinyu Huang, Xun Wang

cs.AI

Zusammenfassung

Während jüngste Fortschritte bei multimodalen Sprachmodellen die Bildgenerierung aus ausdrucksstarken Mehrbild-Anweisungen ermöglicht haben, haben bestehende Verfahren Schwierigkeiten, ihre Leistungsfähigkeit unter komplexen verschränkten Anweisungen aufrechtzuerhalten. Diese Einschränkung resultiert aus der strukturellen Trennung von Bildern und Text in aktuellen Paradigmen, die Modelle dazu zwingt, schwierige langreichweitige Abhängigkeiten zu überbrücken, um Beschreibungen mit visuellen Zielen abzugleichen. Um diese Herausforderungen zu bewältigen, schlagen wir Images iN SEnTences (auch bekannt als INSET) vor, ein einheitliches Generationsmodell, das Bilder nahtlos als native Vokabeln in textuelle Anweisungen einbettet. Indem visuelle Merkmale direkt an ihren entsprechenden semantischen Positionen platziert werden, nutzt INSET die kontextuelle Lokalität von Transformatoren für eine präzise Objektbindung und behandelt Bilder effektiv als dichte, ausdrucksstarke Sprach-Tokens. Darüber hinaus führen wir eine skalierbare Daten-Engine ein, die aus Standard-Bild- und Videodatensätzen 15 Millionen qualitativ hochwertige verschränkte Stichproben synthetisiert, wobei VLMs und LLMs zur Konstruktion reichhaltiger, langhorizontiger Sequenzen eingesetzt werden. Evaluierungsergebnisse auf InterleaveBench zeigen, dass INSET modernste Methoden in Bezug auf Mehrbild-Konsistenz und Textausrichtung deutlich übertrifft, wobei die Leistungsunterschiede mit zunehmender Eingabekomplexität größer werden. Über die Standardgenerierung hinaus erweitert unser Ansatz die multimodale Bildbearbeitung, indem visuelle Inhalte als Teil der Anweisung integriert werden, um hochgradig ausdrucksstarke und kreative visuelle Manipulationen zu ermöglichen.

English

While recent advancements in multimodal language models have enabled image generation from expressive multi-image instructions, existing methods struggle to maintain performance under complex interleaved instructions. This limitation stems from the structural separation of images and text in current paradigms, which forces models to bridge difficult long-range dependencies to match descriptions with visual targets. To address these challenges, we propose Images iN SEnTences (a.k.a, INSET), a unified generation model that seamlessly embeds images as native vocabulary within textual instructions. By positioning visual features directly at their corresponding semantic slots, INSET leverages the contextual locality of transformers for precise object binding, effectively treating images as dense, expressive language tokens. Furthermore, we introduce a scalable data engine that synthesizes 15M high-quality interleaved samples from standard image and video datasets, utilizing VLMs and LLMs to construct rich, long-horizon sequences. Evaluation results on InterleaveBench demonstrate that INSET significantly outperforms state-of-the-art methods in multi-image consistency and text alignment, with performance gaps widening as input complexity increases. Beyond standard generation, our approach inherently extends to multimodal image editing, integrating visual content as part of the instruction to facilitate highly expressive and creative visual manipulations.