Volg het gemiddelde: referentiegestuurde flow matching

Samenvatting

Bestaande benaderingen voor beheersbare generatie zijn doorgaans afhankelijk van fine-tuning, hulpnetwerken of zoeken tijdens testtijd. Wij tonen aan dat flow-matching een andere besturingsinterface mogelijk maakt: adaptatie via voorbeelden. Voor deterministische interpolanten wordt het snelheidsveld uitsluitend bepaald door een conditioneel eindpuntgemiddelde; het verschuiven van dit gemiddelde verschuift de flow zelf. Dit levert een eenvoudig principe voor beheersbare generatie op: stuur een voorgetraind model door de referentieset die het volgt te wijzigen. We implementeren dit idee in twee vormen. Reference-Mean Guidance is trainingsvrij: het berekent een gesloten-vorm eindpuntgemiddeldecorrectie uit een referentiebank en past deze toe op een bevroren FLUX.2-klein (4B)-model, waarmee controle over kleur, identiteit, stijl en structuur mogelijk wordt, terwijl de prompt, seed en gewichten vast blijven. Semi-Parametrische Sturing amortiseert hetzelfde idee via een expliciet gemiddeld anker en een geleerde residuele verfijner, en evenaart de kwaliteit van onvoorwaardelijke DiT-B/4 op AFHQv2, terwijl de referentieset tijdens de inferentie kan worden omgewisseld. Deze resultaten wijzen op een bredere richting: generatieve modellen die zich aanpassen via data, niet via parameterupdates.

English

Existing approaches to controllable generation typically rely on fine-tuning, auxiliary networks, or test-time search. We show that flow matching admits a different control interface: adaptation through examples. For deterministic interpolants, the velocity field is solely governed by a conditional endpoint mean; shifting this mean shifts the flow itself. This yields a simple principle for controllable generation: steer a pretrained model by changing the reference set it follows. We instantiate this idea in two forms. Reference-Mean Guidance is training-free: it computes a closed-form endpoint-mean correction from a reference bank and applies it to a frozen FLUX.2-klein (4B) model, enabling control of color, identity, style, and structure while keeping the prompt, seed, and weights fixed. Semi-Parametric Guidance amortizes the same idea through an explicit mean anchor and learned residual refiner, matching unconditional DiT-B/4 quality on AFHQv2 while allowing the reference set to be swapped at inference time. These results point to a broader direction: generative models that adapt through data, not parameter updates.