VINO: Un Generador Visual Unificado con Contexto Omnimodal Entrelazado

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

Autores: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

Resumen

Presentamos VINO, un generador visual unificado que realiza generación y edición de imágenes y vídeos dentro de un único marco de trabajo. En lugar de depender de modelos específicos por tarea o módulos independientes para cada modalidad, VINO utiliza un backbone de difusión compartido que se condiciona con texto, imágenes y vídeos, permitiendo una amplia gama de tareas de creación y edición visual bajo un mismo modelo. Específicamente, VINO acopla un modelo de visión y lenguaje (VLM) con un Transformador de Difusión Multimodal (MMDiT), donde las entradas multimodales se codifican como tokens de condicionamiento entrelazados, que luego se utilizan para guiar el proceso de difusión. Este diseño admite la anclaje multirreferencia, el seguimiento de instrucciones de larga duración y la preservación coherente de la identidad a través de contenido estático y dinámico, al tiempo que evita componentes arquitectónicos específicos de modalidad. Para entrenar dicho sistema unificado, introducimos una pipeline de entrenamiento multi-etapa que expande progresivamente un modelo base de generación de vídeo en un generador unificado y multitarea capaz de manejar tanto entrada como salida de imagen y vídeo. En diversos benchmarks de generación y edición, VINO demuestra una fuerte calidad visual, un seguimiento fiel de las instrucciones, una mejora en la preservación de referencias y atributos, y ediciones multi-identidad más controlables. Nuestros resultados destacan un camino práctico hacia la generación visual unificada escalable, y la promesa del cómputo en contexto y entrelazado como base para la creación visual de propósito general.

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.