VINO: インターリーブされた全モーダルコンテキストによる統合視覚生成モデル

VINO: A Unified Visual Generator with Interleaved OmniModal Context

January 5, 2026

著者: Junyi Chen, Tong He, Zhoujie Fu, Pengfei Wan, Kun Gai, Weicai Ye

cs.AI

要旨

我々は、単一フレームワーク内で画像・動画生成と編集を実行する統合ビジュアルジェネレータ「VINO」を提案する。タスク固有のモデルや各モダリティの独立モジュールに依存する代わりに、VINOはテキスト・画像・動画を条件付けする共有拡散バックボーンを採用し、一つのモデルで幅広い視覚的創作・編集タスクを実現する。具体的には、VINOは視覚言語モデル（VLM）とマルチモーダル拡散トランスフォーマー（MMDiT）を結合し、マルチモーダル入力をインターリーブされた条件トークンとして符号化し、拡散プロセスを誘導する。この設計により、モダリティ固有の構造コンポーネントを排除しつつ、マルチ参照接地、長文指示の追従、静的・動的コンテンツ間の一貫性ある同一性保持を実現する。この統合システムを訓練するため、動画生成ベースモデルを段階的に拡張し、画像と動画の両方の入出力に対応可能な統合マルチタスクジェネレータへ発展させる多段階訓練パイプラインを導入した。多様な生成・編集ベンチマークにおいて、VINOは強力な視覚的品質、忠実な指示追従、参照・属性保持の改善、制御性の高いマルチアイデンティティ編集を実証する。本成果は、スケーラブルな統合視覚生成への実用的な道筋と、汎用視覚創作の基盤としてのインターリーブ型文脈内計算の可能性を示すものである。

English

We present VINO, a unified visual generator that performs image and video generation and editing within a single framework. Instead of relying on task-specific models or independent modules for each modality, VINO uses a shared diffusion backbone that conditions on text, images and videos, enabling a broad range of visual creation and editing tasks under one model. Specifically, VINO couples a vision-language model (VLM) with a Multimodal Diffusion Transformer (MMDiT), where multimodal inputs are encoded as interleaved conditioning tokens, and then used to guide the diffusion process. This design supports multi-reference grounding, long-form instruction following, and coherent identity preservation across static and dynamic content, while avoiding modality-specific architectural components. To train such a unified system, we introduce a multi-stage training pipeline that progressively expands a video generation base model into a unified, multi-task generator capable of both image and video input and output. Across diverse generation and editing benchmarks, VINO demonstrates strong visual quality, faithful instruction following, improved reference and attribute preservation, and more controllable multi-identity edits. Our results highlight a practical path toward scalable unified visual generation, and the promise of interleaved, in-context computation as a foundation for general-purpose visual creation.