Velocidad Estable: Una Perspectiva de Varianza en la Correspondencia de Flujos
Stable Velocity: A Variance Perspective on Flow Matching
February 5, 2026
Autores: Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao
cs.AI
Resumen
Si bien el emparejamiento de flujos es elegante, su dependencia de velocidades condicionales de muestra única conduce a objetivos de entrenamiento de alta varianza que desestabilizan la optimización y ralentizan la convergencia. Al caracterizar explícitamente esta varianza, identificamos 1) un régimen de alta varianza cerca de la distribución previa, donde la optimización es desafiante, y 2) un régimen de baja varianza cerca de la distribución de datos, donde las velocidades condicionales y marginales casi coinciden. Aprovechando esta observación, proponemos Velocidad Estable (Stable Velocity), un marco unificado que mejora tanto el entrenamiento como el muestreo. Para el entrenamiento, presentamos Emparejamiento de Velocidad Estable (StableVM), un objetivo de reducción de varianza insesgado, junto con Alineación de Representación Consciente de la Varianza (VA-REPA), que refuerza adaptativamente la supervisión auxiliar en el régimen de baja varianza. Para la inferencia, mostramos que la dinámica en el régimen de baja varianza admite simplificaciones de forma cerrada, permitiendo el Muestreo de Velocidad Estable (StableVS), una aceleración que no requiere ajuste fino. Experimentos exhaustivos en ImageNet 256x256 y grandes modelos preentrenados de texto a imagen y texto a video, incluyendo SD3.5, Flux, Qwen-Image y Wan2.2, demuestran mejoras consistentes en la eficiencia del entrenamiento y un muestreo más de 2 veces más rápido dentro del régimen de baja varianza sin degradar la calidad de la muestra. Nuestro código está disponible en https://github.com/linYDTHU/StableVelocity.
English
While flow matching is elegant, its reliance on single-sample conditional velocities leads to high-variance training targets that destabilize optimization and slow convergence. By explicitly characterizing this variance, we identify 1) a high-variance regime near the prior, where optimization is challenging, and 2) a low-variance regime near the data distribution, where conditional and marginal velocities nearly coincide. Leveraging this insight, we propose Stable Velocity, a unified framework that improves both training and sampling. For training, we introduce Stable Velocity Matching (StableVM), an unbiased variance-reduction objective, along with Variance-Aware Representation Alignment (VA-REPA), which adaptively strengthen auxiliary supervision in the low-variance regime. For inference, we show that dynamics in the low-variance regime admit closed-form simplifications, enabling Stable Velocity Sampling (StableVS), a finetuning-free acceleration. Extensive experiments on ImageNet 256times256 and large pretrained text-to-image and text-to-video models, including SD3.5, Flux, Qwen-Image, and Wan2.2, demonstrate consistent improvements in training efficiency and more than 2times faster sampling within the low-variance regime without degrading sample quality. Our code is available at https://github.com/linYDTHU/StableVelocity.