Изображения в предложениях: Масштабирование перемежающихся инструкций для унифицированной визуальной генерации
Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation
May 12, 2026
Авторы: Yabo Zhang, Kunchang Li, Dewei Zhou, Xinyu Huang, Xun Wang
cs.AI
Аннотация
Несмотря на недавние успехи в области мультимодальных языковых моделей, позволившие генерировать изображения на основе выразительных многообразных инструкций, существующие методы с трудом сохраняют производительность при обработке сложных перемежающихся инструкций. Это ограничение обусловлено структурным разделением изображений и текста в современных парадигмах, что вынуждает модели преодолевать сложные долгосрочные зависимости для сопоставления описаний с визуальными целями. Для решения этих задач мы предлагаем Images iN SEnTences (также известную как INSET) — унифицированную генерационную модель, которая органично встраивает изображения как собственные единицы словаря в текстовые инструкции. Размещая визуальные признаки непосредственно в соответствующих семантических слотах, INSET использует контекстную локальность трансформеров для точного связывания объектов, фактически трактуя изображения как плотные, выразительные языковые токены. Кроме того, мы представляем масштабируемый механизм данных, который синтезирует 15 миллионов высококачественных перемежающихся примеров из стандартных наборов изображений и видео, применяя VLM и LLM для построения насыщенных, долгосрочных последовательностей. Результаты оценки на InterleaveBench показывают, что INSET значительно превосходит современные методы по согласованности множественных изображений и выравниванию текста, причем разрыв в производительности увеличивается по мере роста сложности входных данных. Помимо стандартной генерации, наш подход естественным образом распространяется на мультимодальное редактирование изображений, интегрируя визуальный контент как часть инструкции для обеспечения высоко выразительных и творческих визуальных манипуляций.
English
While recent advancements in multimodal language models have enabled image generation from expressive multi-image instructions, existing methods struggle to maintain performance under complex interleaved instructions. This limitation stems from the structural separation of images and text in current paradigms, which forces models to bridge difficult long-range dependencies to match descriptions with visual targets. To address these challenges, we propose Images iN SEnTences (a.k.a, INSET), a unified generation model that seamlessly embeds images as native vocabulary within textual instructions. By positioning visual features directly at their corresponding semantic slots, INSET leverages the contextual locality of transformers for precise object binding, effectively treating images as dense, expressive language tokens. Furthermore, we introduce a scalable data engine that synthesizes 15M high-quality interleaved samples from standard image and video datasets, utilizing VLMs and LLMs to construct rich, long-horizon sequences. Evaluation results on InterleaveBench demonstrate that INSET significantly outperforms state-of-the-art methods in multi-image consistency and text alignment, with performance gaps widening as input complexity increases. Beyond standard generation, our approach inherently extends to multimodal image editing, integrating visual content as part of the instruction to facilitate highly expressive and creative visual manipulations.