Bootstrap uw generator: Ongepaarde visuele bewerking met Flow Matching

Samenvatting

Moderne generatieve modellen hebben een diepgaand begrip van visuele inhoud, maar het trainen ervan voor beeldbewerking vereist doorgaans enorme datasets met gepaarde voorbeelden. Dit beperkt de schaalbaarheid, met name voor videobewerking, waar het verzamelen van gepaarde data onbetaalbaar duur is. Wij stellen Bootstrap Your Generator (ByG) voor, een algemeen raamwerk voor ongepaarde training van stroommatching-bewerkingsmodellen. Het benut de kennis van het basismodel zonder enige externe signaal. Onze aanpak combineert instructie-volgende aanwijzingen, geëxtraheerd uit het bevroren model, met cyclusconsistentie voor structuurbehoud. Om dit haalbaar te maken, stellen we voor om gradiënten van downstream-verliezen over schone voorspellingen terug te leiden naar ruizige trainingstoestanden. We tonen state-of-the-art resultaten aan op uitdagende data-schaarse scenario's voor beeld- en videobewerking. Uitgebreide evaluaties en gebruikersstudies laten zien dat onze methode effectief generaliseert naar ongeziene domeinen en beter presteert dan gesuperviseerde basislijnen getraind op miljoenen monsters. Analyse onthult dat onze gradiëntroutering de train-inferentiekloof overbrugt en dat het extraheren van semantische aanwijzingen uit een basismodel een robuust trainingssignaal biedt dat de noodzaak van externe beloningsmodellen overbodig maakt.

English

Modern generative models possess a deep understanding of visual content, yet training them for image editing typically requires massive datasets of paired examples. This limits scalability, especially for video editing where collecting paired data is prohibitively expensive. We propose Bootstrap Your Generator (ByG), a general framework for unpaired training of flow matching editing models. It leverages the base model's knowledge without any external signal. Our approach pairs instruction-following cues extracted from the frozen model with cycle-consistency for structure preservation. To make this tractable, we propose to route gradients from downstream losses over clean predictions to noisy training states. We demonstrate state-of-the-art results on challenging data-scarce image and video editing scenarios. Extensive evaluations and user studies show that our method effectively generalizes to unseen domains and outperforms supervised baselines trained on millions of samples. Analysis reveals that our gradient routing bridges the train-inference gap, and extracting semantic cues from a base model provides a robust training signal that obviates the need for external reward models.