LeapAlign: Alinhamento Pós-Treinamento de Modelos de Emparelhamento de Fluxo em Qualquer Etapa de Geração por meio da Construção de Trajetórias em Duas Etapas
LeapAlign: Post-Training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories
April 16, 2026
Autores: Zhanhao Liang, Tao Yang, Jie Wu, Chengjian Feng, Liang Zheng
cs.AI
Resumo
Este artigo concentra-se no alinhamento de modelos de correspondência de fluxo (flow matching) com as preferências humanas. Uma abordagem promissora é o ajuste fino (fine-tuning) através da retropropagação direta dos gradientes de recompensa pelo processo de geração diferenciável do flow matching. No entanto, a retropropagação através de trajetórias longas resulta em custos de memória proibitivos e em explosão de gradientes. Consequentemente, os métodos de gradiente direto têm dificuldade em atualizar os passos iniciais de geração, que são cruciais para determinar a estrutura global da imagem final. Para resolver este problema, introduzimos o LeapAlign, um método de ajuste fino que reduz o custo computacional e permite a propagação direta do gradiente da recompensa para os passos iniciais de geração. Especificamente, encurtamos a trajetória longa para apenas dois passos, projetando dois saltos consecutivos, cada um ignorando múltiplos passos de amostragem de EDO e prevendo os latentes futuros em um único passo. Ao randomizar os passos de tempo de início e fim dos saltos, o LeapAlign permite atualizações de modelo eficientes e estáveis em qualquer etapa de geração. Para melhor utilizar essas trajetórias encurtadas, atribuímos pesos de treinamento mais elevados àquelas que são mais consistentes com o caminho de geração longo. Para melhorar ainda mais a estabilidade do gradiente, reduzimos os pesos dos termos de gradiente com magnitude grande, em vez de removê-los completamente, como é feito em trabalhos anteriores. Ao ajustar o modelo Flux, o LeapAlign supera consistentemente os métodos baseados em GRPO e de gradiente direto de última geração em várias métricas, alcançando qualidade de imagem e alinhamento imagem-texto superiores.
English
This paper focuses on the alignment of flow matching models with human preferences. A promising way is fine-tuning by directly backpropagating reward gradients through the differentiable generation process of flow matching. However, backpropagating through long trajectories results in prohibitive memory costs and gradient explosion. Therefore, direct-gradient methods struggle to update early generation steps, which are crucial for determining the global structure of the final image. To address this issue, we introduce LeapAlign, a fine-tuning method that reduces computational cost and enables direct gradient propagation from reward to early generation steps. Specifically, we shorten the long trajectory into only two steps by designing two consecutive leaps, each skipping multiple ODE sampling steps and predicting future latents in a single step. By randomizing the start and end timesteps of the leaps, LeapAlign leads to efficient and stable model updates at any generation step. To better use such shortened trajectories, we assign higher training weights to those that are more consistent with the long generation path. To further enhance gradient stability, we reduce the weights of gradient terms with large magnitude, instead of completely removing them as done in previous works. When fine-tuning the Flux model, LeapAlign consistently outperforms state-of-the-art GRPO-based and direct-gradient methods across various metrics, achieving superior image quality and image-text alignment.