Обучение на многообразии: раскрытие потенциала стандартных диффузионных трансформеров с помощью репрезентационных энкодеров

Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders

February 10, 2026

Авторы: Amandeep Kumar, Vishal M. Patel

cs.AI

Аннотация

Использование репрезентационных энкодеров для генеративного моделирования открывает путь к эффективному синтезу данных высокой точности. Однако стандартные диффузионные трансформеры не сходятся на этих репрезентациях напрямую. В то время как последние исследования объясняют это узким местом ёмкости, предлагая вычислительно затратное масштабирование ширины диффузионных трансформеров, мы демонстрируем, что причина неудачи имеет фундаментально геометрическую природу. Мы определяем *геометрическую интерференцию* как коренную причину: стандартное евклидово согласование потоков заставляет вероятностные траектории проходить через низкоплотностную внутреннюю область гиперсферического пространства признаков репрезентационных энкодеров, вместо следования по поверхности многообразия. Для решения этой проблемы мы предлагаем *риманово согласование потоков с якобиевской регуляризацией* (RJF). Ограничивая генеративный процесс геодезическими многообразия и корректируя распространение ошибок, вызванное кривизной, RJF позволяет стандартным архитектурам диффузионных трансформеров сходиться без масштабирования ширины. Наш метод RJF обеспечивает эффективную сходимость стандартной архитектуры DiT-B (131 млн параметров), достигая FID 3.37 в тех случаях, когда предыдущие методы не сходятся. Код: https://github.com/amandpkr/RJF

English

Leveraging representation encoders for generative modeling offers a path for efficient, high-fidelity synthesis. However, standard diffusion transformers fail to converge on these representations directly. While recent work attributes this to a capacity bottleneck proposing computationally expensive width scaling of diffusion transformers we demonstrate that the failure is fundamentally geometric. We identify Geometric Interference as the root cause: standard Euclidean flow matching forces probability paths through the low-density interior of the hyperspherical feature space of representation encoders, rather than following the manifold surface. To resolve this, we propose Riemannian Flow Matching with Jacobi Regularization (RJF). By constraining the generative process to the manifold geodesics and correcting for curvature-induced error propagation, RJF enables standard Diffusion Transformer architectures to converge without width scaling. Our method RJF enables the standard DiT-B architecture (131M parameters) to converge effectively, achieving an FID of 3.37 where prior methods fail to converge. Code: https://github.com/amandpkr/RJF