多様体上の学習：表現エンコーダによる標準拡散Transformerの解放

要旨

表現エンコーダを生成モデリングに活用することは、効率的で高精細な合成への道筋を提供する。しかし、標準的な拡散Transformerはこれらの表現に直接収束しない。近年の研究ではこれを容量ボトルネックに帰属し、計算コストの高い拡散Transformerの幅方向スケーリングを提案しているが、我々はこの失敗が本質的に幾何学的な問題であることを実証する。根本原因として「幾何学的干渉」を特定した：標準的なユークリッド流れマッチングは、表現エンコーダの超球面特徴空間の低密度な内部を確率経路が通過することを強制し、多様体表面を辿らないのである。この問題を解決するため、我々はヤコビ正則化を伴うリーマン流れマッチング（RJF）を提案する。生成プロセスを多様体上の測地線に制約し、曲率に起因する誤差伝播を補正することで、RJFは標準的な拡散Transformerアーキテクチャが幅方向スケーリングなしで収束することを可能にする。我々の手法RJFは、標準的なDiT-Bアーキテクチャ（1.31億パラメータ）を効果的に収束させ、従来手法が収束しなかった状況でFID 3.37を達成する。コード：https://github.com/amandpkr/RJF

English

Leveraging representation encoders for generative modeling offers a path for efficient, high-fidelity synthesis. However, standard diffusion transformers fail to converge on these representations directly. While recent work attributes this to a capacity bottleneck proposing computationally expensive width scaling of diffusion transformers we demonstrate that the failure is fundamentally geometric. We identify Geometric Interference as the root cause: standard Euclidean flow matching forces probability paths through the low-density interior of the hyperspherical feature space of representation encoders, rather than following the manifold surface. To resolve this, we propose Riemannian Flow Matching with Jacobi Regularization (RJF). By constraining the generative process to the manifold geodesics and correcting for curvature-induced error propagation, RJF enables standard Diffusion Transformer architectures to converge without width scaling. Our method RJF enables the standard DiT-B architecture (131M parameters) to converge effectively, achieving an FID of 3.37 where prior methods fail to converge. Code: https://github.com/amandpkr/RJF

多様体上の学習：表現エンコーダによる標準拡散Transformerの解放

Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders

要旨

Support