Apprentissage sur la Variété : Libérer les Transformers de Diffusion Standard avec des Encodeurs de Représentation
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
February 10, 2026
papers.authors: Amandeep Kumar, Vishal M. Patel
cs.AI
papers.abstract
L'exploitation des encodeurs de représentation pour la modélisation générative offre une voie vers une synthèse efficace et de haute fidélité. Cependant, les transformers à diffusion standards échouent à converger directement sur ces représentations. Si des travaux récents attribuent cet échec à un goulot d'étranglement de capacité, proposant un accroissement coûteux en calcul de la largeur des transformers à diffusion, nous démontrons que l'échec est fondamentalement géométrique. Nous identifions l'**Interférence Géométrique** comme la cause racine : l'appariement de flux euclidien standard force les trajectoires de probabilité à traverser l'intérieur à faible densité de l'espace de caractéristiques hypersphérique des encodeurs de représentation, au lieu de suivre la surface de la variété. Pour résoudre ce problème, nous proposons l'**Appariement de Flux Riemannien avec Régularisation de Jacobi (RJF)**. En contraignant le processus génératif aux géodésiques de la variété et en corrigeant la propagation d'erreur induite par la courbure, RJF permet aux architectures standard de Transformer à Diffusion de converger sans mise à l'échelle de la largeur. Notre méthode RJF permet à l'architecture DiT-B standard (131 millions de paramètres) de converger efficacement, atteignant un FID de 3,37 là où les méthodes précédentes échouaient à converger. Code : https://github.com/amandpkr/RJF
English
Leveraging representation encoders for generative modeling offers a path for efficient, high-fidelity synthesis. However, standard diffusion transformers fail to converge on these representations directly. While recent work attributes this to a capacity bottleneck proposing computationally expensive width scaling of diffusion transformers we demonstrate that the failure is fundamentally geometric. We identify Geometric Interference as the root cause: standard Euclidean flow matching forces probability paths through the low-density interior of the hyperspherical feature space of representation encoders, rather than following the manifold surface. To resolve this, we propose Riemannian Flow Matching with Jacobi Regularization (RJF). By constraining the generative process to the manifold geodesics and correcting for curvature-induced error propagation, RJF enables standard Diffusion Transformer architectures to converge without width scaling. Our method RJF enables the standard DiT-B architecture (131M parameters) to converge effectively, achieving an FID of 3.37 where prior methods fail to converge. Code: https://github.com/amandpkr/RJF