VINO: Un Generatore Visivo Unificato con Contesto OmnimoDale Intervallato

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

Autori: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

Abstract

Presentiamo VINO, un generatore visivo unificato in grado di eseguire generazione e modifica di immagini e video all'interno di un unico framework. Invece di affidarsi a modelli specifici per ogni task o moduli indipendenti per ogni modalità, VINO utilizza un backbone di diffusione condiviso che si condiziona su testo, immagini e video, abilitando un'ampia gamma di attività di creazione e modifica visiva in un unico modello. Nello specifico, VINO accoppia un modello visione-linguaggio (VLM) con un Multimodal Diffusion Transformer (MMDiT), dove gli input multimodali vengono codificati come token di condizionamento intervallati e poi utilizzati per guidare il processo di diffusione. Questo design supporta il grounding multi-riferimento, l'adesione a istruzioni lunghe e complesse e la preservazione coerente dell'identità attraverso contenuti statici e dinamici, evitando al contempo componenti architetturali specifiche per modalità. Per addestrare un sistema unificato di questo tipo, introduciamo una pipeline di training multi-stadio che espande progressivamente un modello base per la generazione video in un generatore unificato e multi-task capace di gestire input e output sia di immagini che di video. Su vari benchmark di generazione e modifica, VINO dimostra una forte qualità visiva, una fedele aderenza alle istruzioni, un miglioramento nella preservazione di riferimenti e attributi, e modifiche multi-identità più controllabili. I nostri risultati evidenziano un percorso pratico verso una generazione visiva unificata e scalabile, e la promessa del calcolo intervallato e in-context come fondamento per la creazione visiva generica.

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.