VINO: Унифицированный визуальный генератор с чередующимся омнимодальным контекстом

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

Авторы: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

Аннотация

Мы представляем VINO — унифицированный визуальный генератор, выполняющий создание и редактирование изображений и видео в рамках единой архитектуры. Вместо использования специализированных моделей для каждой задачи или независимых модулей для каждой модальности, VINO применяет общий диффузионный каркас, который conditionируется на тексте, изображениях и видео, что позволяет решать широкий спектр задач визуального создания и редактирования в одной модели. В частности, VINO объединяет визуально-языковую модель (VLM) с Мультимодальным Диффузионным Трансформером (MMDiT), где мультимодальные входные данные кодируются в виде перемежающихся conditioning-токенов и затем используются для управления диффузионным процессом. Такая конструкция поддерживает мульти-референсное grounding-закрепление, выполнение длинных инструкций и согласованное сохранение идентичности в статическом и динамическом контенте, избегая при этом модально-специфичных архитектурных компонентов. Для обучения такой унифицированной системы мы предлагаем многоэтапный pipeline обучения, который постепенно расширяет базовую модель генерации видео до унифицированного многозадачного генератора, способного работать как с изображениями, так и с видео на входе и выходе. На разнообразных бенчмарках генерации и редактирования VINO демонстрирует высокое визуальное качество, точное следование инструкциям, улучшенное сохранение референсов и атрибутов, а также более контролируемое редактирование с несколькими идентичностями. Наши результаты указывают на практический путь к масштабируемой унифицированной визуальной генерации и перспективность перемежающихся in-context вычислений как основы для универсального визуального творчества.

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.