VINO : Un générateur visuel unifié avec contexte omnimodal entrelacé

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

papers.authors: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

papers.abstract

Nous présentons VINO, un générateur visuel unifié qui réalise la génération et l'édition d'images et de vidéos au sein d'un même cadre. Plutôt que de s'appuyer sur des modèles spécifiques à chaque tâche ou des modules indépendants pour chaque modalité, VINO utilise une architecture de diffusion partagée qui se conditionne sur du texte, des images et des vidéos, permettant ainsi une large gamme de tâches de création et d'édition visuelles avec un seul modèle. Plus précisément, VINO couple un modèle vision-langage (VLM) avec un Transformeur de Diffusion Multimodal (MMDiT), où les entrées multimodales sont encodées sous forme de jetons de conditionnement entrelacés, puis utilisées pour guider le processus de diffusion. Cette conception prend en charge l'ancrage multi-référence, le suivi d'instructions longues et la préservation cohérente de l'identité sur du contenu statique et dynamique, tout en évitant les composants architecturaux spécifiques à une modalité. Pour entraîner un tel système unifié, nous introduisons un pipeline d'entraînement multi-étapes qui étend progressivement un modèle de base de génération vidéo en un générateur unifié et multi-tâche capable de traiter des entrées et sorties images et vidéos. Sur divers benchmarks de génération et d'édition, VINO démontre une forte qualité visuelle, un suivi fidèle des instructions, une meilleure préservation des références et attributs, et des éditions multi-identités plus contrôlables. Nos résultats mettent en lumière une voie pratique vers une génération visuelle unifiée et évolutive, et la promesse du calcul entrelacé en contexte comme fondement pour la création visuelle générale.

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.