Imagens em Frases: Escalonamento de Instruções Intercaladas para Geração Visual Unificada

Resumo

Embora avanços recentes em modelos multimodais de linguagem tenham possibilitado a geração de imagens a partir de instruções expressivas envolvendo múltiplas imagens, os métodos existentes têm dificuldade em manter o desempenho sob instruções intercaladas complexas. Essa limitação decorre da separação estrutural entre imagens e texto nos paradigmas atuais, que força os modelos a superar dependências de longo alcance para associar descrições a alvos visuais. Para enfrentar esses desafios, propomos o Images iN SEnTences (também conhecido como INSET), um modelo de geração unificado que insere imagens como vocabulário nativo dentro de instruções textuais. Ao posicionar características visuais diretamente em seus respectivos espaços semânticos, o INSET aproveita a localidade contextual dos transformadores para uma vinculação precisa de objetos, tratando imagens como tokens de linguagem densos e expressivos. Além disso, introduzimos um mecanismo de dados escalável que sintetiza 15 milhões de amostras intercaladas de alta qualidade a partir de conjuntos de dados padrão de imagens e vídeos, utilizando VLMs e LLMs para construir sequências longas e ricas. Os resultados da avaliação no InterleaveBench demonstram que o INSET supera significativamente os métodos de última geração em consistência entre múltiplas imagens e alinhamento de texto, com diferenças de desempenho que se ampliam à medida que a complexidade da entrada aumenta. Além da geração padrão, nossa abordagem se estende naturalmente à edição multimodal de imagens, integrando conteúdo visual como parte da instrução para facilitar manipulações visuais altamente expressivas e criativas.

English

While recent advancements in multimodal language models have enabled image generation from expressive multi-image instructions, existing methods struggle to maintain performance under complex interleaved instructions. This limitation stems from the structural separation of images and text in current paradigms, which forces models to bridge difficult long-range dependencies to match descriptions with visual targets. To address these challenges, we propose Images iN SEnTences (a.k.a, INSET), a unified generation model that seamlessly embeds images as native vocabulary within textual instructions. By positioning visual features directly at their corresponding semantic slots, INSET leverages the contextual locality of transformers for precise object binding, effectively treating images as dense, expressive language tokens. Furthermore, we introduce a scalable data engine that synthesizes 15M high-quality interleaved samples from standard image and video datasets, utilizing VLMs and LLMs to construct rich, long-horizon sequences. Evaluation results on InterleaveBench demonstrate that INSET significantly outperforms state-of-the-art methods in multi-image consistency and text alignment, with performance gaps widening as input complexity increases. Beyond standard generation, our approach inherently extends to multimodal image editing, integrating visual content as part of the instruction to facilitate highly expressive and creative visual manipulations.