Bootstrap Seu Gerador: Edição Visual Não Pareada com Flow Matching

Resumo

Modelos generativos modernos possuem uma compreensão profunda do conteúdo visual, no entanto, treiná-los para edição de imagens geralmente requer conjuntos de dados massivos de exemplos pareados. Isso limita a escalabilidade, especialmente para edição de vídeos, onde a coleta de dados pareados é proibitivamente cara. Propomos o Bootstrap Your Generator (ByG), uma estrutura geral para treinamento não pareado de modelos de edição baseados em correspondência de fluxo (flow matching). Ele aproveita o conhecimento do modelo base sem qualquer sinal externo. Nossa abordagem combina sinais de instrução extraídos do modelo congelado com consistência cíclica para preservação da estrutura. Para tornar isso viável, propomos direcionar gradientes de perdas posteriores sobre predições limpas para estados de treinamento ruidosos. Demonstramos resultados de ponta em cenários desafiadores de edição de imagem e vídeo com escassez de dados. Avaliações extensivas e estudos de usuários mostram que nosso método generaliza efetivamente para domínios não vistos e supera linhas de base supervisionadas treinadas em milhões de amostras. A análise revela que nosso direcionamento de gradientes reduz a lacuna entre treinamento e inferência, e a extração de sinais semânticos de um modelo base fornece um sinal de treinamento robusto que elimina a necessidade de modelos de recompensa externos.

English

Modern generative models possess a deep understanding of visual content, yet training them for image editing typically requires massive datasets of paired examples. This limits scalability, especially for video editing where collecting paired data is prohibitively expensive. We propose Bootstrap Your Generator (ByG), a general framework for unpaired training of flow matching editing models. It leverages the base model's knowledge without any external signal. Our approach pairs instruction-following cues extracted from the frozen model with cycle-consistency for structure preservation. To make this tractable, we propose to route gradients from downstream losses over clean predictions to noisy training states. We demonstrate state-of-the-art results on challenging data-scarce image and video editing scenarios. Extensive evaluations and user studies show that our method effectively generalizes to unseen domains and outperforms supervised baselines trained on millions of samples. Analysis reveals that our gradient routing bridges the train-inference gap, and extracting semantic cues from a base model provides a robust training signal that obviates the need for external reward models.