NextFlow: 統合逐次モデリングがマルチモーダル理解と生成を活性化

要旨

我々はNextFlowを提案する。これは6兆のインターレース化されたテキスト-画像離散トークンで学習された統一デコーダのみの自己回帰トランスフォーマーである。統一された自己回帰アーキテクチャ内で統一視覚表現を活用することにより、NextFlowはマルチモーダル理解と生成能力をネイティブに活性化し、画像編集、インターレースコンテンツ、動画生成の機能を解放する。テキストが厳密に順次的であるのに対し画像が本質的に階層的であるというモダリティの特性に動機づけられ、我々はテキストには次トークン予測を維持しつつ、視覚生成には次スケール予測を採用する。これは従来のラスタスキャン手法から離脱し、1024x1024画像をわずか5秒で生成することを可能にする - 同等のARモデルよりも桁違いに高速である。マルチスケール生成の不安定性に対しては、堅牢な学習レシピを通じて対処する。さらに、強化学習のためのプレフィックスチューニング戦略を導入する。実験により、NextFlowが統一モデルの中で最先端の性能を達成し、視覚品質において専門的な拡散ベースラインと互角であることを実証する。

English

We present NextFlow, a unified decoder-only autoregressive transformer trained on 6 trillion interleaved text-image discrete tokens. By leveraging a unified vision representation within a unified autoregressive architecture, NextFlow natively activates multimodal understanding and generation capabilities, unlocking abilities of image editing, interleaved content and video generation. Motivated by the distinct nature of modalities - where text is strictly sequential and images are inherently hierarchical - we retain next-token prediction for text but adopt next-scale prediction for visual generation. This departs from traditional raster-scan methods, enabling the generation of 1024x1024 images in just 5 seconds - orders of magnitude faster than comparable AR models. We address the instabilities of multi-scale generation through a robust training recipe. Furthermore, we introduce a prefix-tuning strategy for reinforcement learning. Experiments demonstrate that NextFlow achieves state-of-the-art performance among unified models and rivals specialized diffusion baselines in visual quality.

NextFlow: 統合逐次モデリングがマルチモーダル理解と生成を活性化

NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

要旨

Support