Chimera：ハイブリッド視覚拡散トランスフォーマーの設計とチンチラ・スケーリング

要旨

ビジュアル生成はますます高解像度の画像、長い動画、マルチモーダルな文脈を必要としており、フルアテンションの二次コストは法外なものになっている。我々は、原理に基づくスケーリング手法を備えたハイブリッド視覚拡散バックボーンであるChimeraを導入する。Chimeraは、テキスト・画像・動画トークンを位置埋め込みなしで単一のラスタ順ストリームとして処理する。これは、O(N)計算量の長文脈状態追跡を実現するKimi Delta Attention（KDA）と、直接的な大域相互作用のためのインターリーブ型マルチヘッド潜在アテンション（MLA）、局所的な時空間文脈のためのモダリティ認識短畳み込みを組み合わせる。スパース混合エキスパート（MoE）層は、活性化計算量を制御しつつ容量を拡大する。この異種混在アーキテクチャをスケールするために、各テンソルの関数上のファンインとモデル深さに応じてハイパーパラメータを幅と深さの間で転送するモジュール単位の手法であるHeteroPを導入する。HeteroPは一貫して調整されたファミリーを生成し、これを用いて活性化モデルサイズ、学習トークン数、画像-動画データ比に関するChinchilla流の計算最適則を当てはめる。これらの法則に基づき、我々は活性化パラメータ20億を持つ110億パラメータのChimeraを学習する。実験では以下の3つの結果が示される。第一に、事前学習拡散損失で測定すると、高密度バックボーンは一致させたフルアテンションのWan-2.1 2Bベースラインの1.7倍の計算効率を達成し、完全なシステムでは7.3倍に達する。第二に、長さ特化のファインチューニングなしで、Chimeraは5秒の学習クリップから30秒の動画へゼロショットで外挿し、最後の5秒間ではわずか6.5%のFID劣化しか示さない。第三に、当てはめた法則は、計算最適な画像事前学習が計算量を活性化モデルサイズと学習トークン数にほぼ均等に配分するのに対し、動画事前学習ではより高い計算予算においてモデルサイズをやや優先することを示す。これらの結果は、効率的な長文脈拡散アーキテクチャの設計とスケーリングのための基盤を確立する。

English

Visual generation increasingly requires high-resolution images, long videos, and multimodal context, making the quadratic cost of full attention prohibitive. We introduce Chimera, a hybrid visual diffusion backbone with a principled scaling recipe. Chimera processes text, image, and video tokens in one raster-ordered stream without positional embeddings. It combines Kimi Delta Attention (KDA) for long-context state tracking with O(N) complexity, interleaved Multi-head Latent Attention (MLA) for direct global interaction, and modality-aware short convolutions for local spatiotemporal context. Sparse Mixture-of-Experts (MoE) layers expand capacity while controlling activated compute. To scale this heterogeneous architecture, we introduce HeteroP, a module-wise scheme that transfers hyperparameters across width and depth according to each tensor's functional fan-in and model depth. HeteroP yields a consistently tuned family used to fit Chinchilla-style compute-optimal laws for activated model size, training-token count, and image-video data ratio. Guided by these laws, we train an 11B-parameter Chimera with 2B activated parameters. Experiments show three results. First, measured by pretraining diffusion loss, the dense backbone is 1.7x as compute-efficient as a matched full-attention Wan-2.1 2B baseline, while the complete system reaches 7.3x. Second, without length-specific fine-tuning, Chimera extrapolates zero-shot from 5-second training clips to 30-second videos, with only 6.5% FID degradation in the last five seconds. Third, the fitted laws show that compute-optimal image pretraining divides compute nearly evenly between activated model size and training-token count, whereas video pretraining modestly favors model size at higher budgets. These results establish a foundation for designing and scaling efficient long-context diffusion architectures.