VINO: Een Verenigde Visuele Generator met Verweven Omnimalige Context

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

Auteurs: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

Samenvatting

Wij presenteren VINO, een uniforme visuele generator die beeld- en videogeneratie en -bewerking uitvoert binnen één enkel raamwerk. In plaats van te vertrouwen op taakspecifieke modellen of onafhankelijke modules voor elke modaliteit, gebruikt VINO een gedeelde diffusie-backbone die conditioneert op tekst, beelden en video's, waardoor een breed scala aan visuele creatie- en bewerkingstaken mogelijk wordt binnen één model. Specifiek koppelt VINO een vision-language model (VLM) aan een Multimodal Diffusion Transformer (MMDiT), waarbij multimodale invoer wordt gecodeerd als interleaved conditioneringstokens, die vervolgens worden gebruikt om het diffusieproces te sturen. Dit ontwerp ondersteunt multi-referentie gronding, het volgen van lange instructies en coherente identiteitspreservatie in statische en dynamische content, zonder gebruik te maken van modaliteitsspecifieke architectuurcomponenten. Om zo'n uniform systeem te trainen, introduceren we een meerfasig trainingspijplijn dat een basisvideogeneratiemodel progressief uitbreidt naar een uniforme, multitask-generator die zowel beeld- als video-invoer en -uitvoer aankan. Op diverse generatie- en bewerkingsbenchmarks toont VINO sterke visuele kwaliteit, nauwgezet instructievolgen, verbeterde referentie- en attribuutpreservatie en beter beheerbare multi-identiteitsbewerkingen. Onze resultaten belichten een praktisch pad naar schaalbare uniforme visuele generatie en de belofte van interleaved, in-context berekening als fundament voor algemeen-toepasbare visuele creatie.

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.