Imágenes en oraciones: escalando instrucciones intercaladas para la generación visual unificada

Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation

May 12, 2026

Autores: Yabo Zhang, Kunchang Li, Dewei Zhou, Xinyu Huang, Xun Wang

cs.AI

Resumen

Si bien los avances recientes en modelos de lenguaje multimodal han permitido la generación de imágenes a partir de instrucciones expresivas con múltiples imágenes, los métodos existentes tienen dificultades para mantener el rendimiento bajo instrucciones intercaladas complejas. Esta limitación proviene de la separación estructural entre imágenes y texto en los paradigmas actuales, lo que obliga a los modelos a tender puentes sobre dependencias de largo alcance para emparejar descripciones con objetivos visuales. Para abordar estos desafíos, proponemos Images iN SEnTences (también conocido como INSET), un modelo de generación unificado que incrusta imágenes de forma natural como vocabulario nativo dentro de instrucciones textuales. Al posicionar las características visuales directamente en sus correspondientes ranuras semánticas, INSET aprovecha la localidad contextual de los transformadores para una vinculación precisa de objetos, tratando eficazmente las imágenes como tokens de lenguaje densos y expresivos. Además, presentamos un motor de datos escalable que sintetiza 15 millones de muestras intercaladas de alta calidad a partir de conjuntos de datos estándar de imágenes y videos, utilizando VLM y LLM para construir secuencias ricas y de largo horizonte. Los resultados de evaluación en InterleaveBench demuestran que INSET supera significativamente a los métodos de vanguardia en consistencia multi-imagen y alineación textual, con diferencias de rendimiento que se amplían a medida que aumenta la complejidad de la entrada. Más allá de la generación estándar, nuestro enfoque se extiende de forma inherente a la edición multimodal de imágenes, integrando contenido visual como parte de la instrucción para facilitar manipulaciones visuales altamente expresivas y creativas.

English

While recent advancements in multimodal language models have enabled image generation from expressive multi-image instructions, existing methods struggle to maintain performance under complex interleaved instructions. This limitation stems from the structural separation of images and text in current paradigms, which forces models to bridge difficult long-range dependencies to match descriptions with visual targets. To address these challenges, we propose Images iN SEnTences (a.k.a, INSET), a unified generation model that seamlessly embeds images as native vocabulary within textual instructions. By positioning visual features directly at their corresponding semantic slots, INSET leverages the contextual locality of transformers for precise object binding, effectively treating images as dense, expressive language tokens. Furthermore, we introduce a scalable data engine that synthesizes 15M high-quality interleaved samples from standard image and video datasets, utilizing VLMs and LLMs to construct rich, long-horizon sequences. Evaluation results on InterleaveBench demonstrate that INSET significantly outperforms state-of-the-art methods in multi-image consistency and text alignment, with performance gaps widening as input complexity increases. Beyond standard generation, our approach inherently extends to multimodal image editing, integrating visual content as part of the instruction to facilitate highly expressive and creative visual manipulations.