Lernen auf der Mannigfaltigkeit: Standard-Diffusionstransformatoren mit Repräsentationskodierern entschlüsseln
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
February 10, 2026
papers.authors: Amandeep Kumar, Vishal M. Patel
cs.AI
papers.abstract
Die Nutzung von Repräsentationsencodern für generatives Modellieren bietet einen Weg für effiziente Synthese mit hoher Wiedergabetreue. Allerdings konvergieren Standard-Diffusion-Transformer nicht direkt auf diesen Repräsentationen. Während neuere Arbeiten dies auf einen Kapazitätsengpass zurückführen und rechenintensive Breitenskalerung von Diffusion-Transforms vorschlagen, zeigen wir, dass das Scheitern grundlegend geometrischer Natur ist. Wir identifizieren Geometrische Interferenz als Ursache: Standardmäßiges euklidisches Flow Matching zwingt Wahrscheinlichkeitspfade durch das niedrigdichte Innere des hypersphärischen Merkmalraums von Repräsentationsencodern, anstatt der Mannigfaltigkeitsoberfläche zu folgen. Um dies zu lösen, schlagen wir Riemannian Flow Matching mit Jacobi-Regularisierung (RJF) vor. Durch die Beschränkung des generativen Prozesses auf die Geodäten der Mannigfaltigkeit und die Korrektur von krümmungsinduziertem Fehlerfortpflanzung ermöglicht RJF standardmäßigen Diffusion-Transformer-Architekturen die Konvergenz ohne Breitenskalerung. Unsere Methode RJF ermöglicht es der Standard-DiT-B-Architektur (131M Parameter) effektiv zu konvergieren und erreicht einen FID von 3,37, wo bisherige Methoden nicht konvergieren. Code: https://github.com/amandpkr/RJF
English
Leveraging representation encoders for generative modeling offers a path for efficient, high-fidelity synthesis. However, standard diffusion transformers fail to converge on these representations directly. While recent work attributes this to a capacity bottleneck proposing computationally expensive width scaling of diffusion transformers we demonstrate that the failure is fundamentally geometric. We identify Geometric Interference as the root cause: standard Euclidean flow matching forces probability paths through the low-density interior of the hyperspherical feature space of representation encoders, rather than following the manifold surface. To resolve this, we propose Riemannian Flow Matching with Jacobi Regularization (RJF). By constraining the generative process to the manifold geodesics and correcting for curvature-induced error propagation, RJF enables standard Diffusion Transformer architectures to converge without width scaling. Our method RJF enables the standard DiT-B architecture (131M parameters) to converge effectively, achieving an FID of 3.37 where prior methods fail to converge. Code: https://github.com/amandpkr/RJF