평균을 따르라: 참조 기반 플로우 매칭

초록

기존의 제어 가능한 생성 접근법은 일반적으로 파인튜닝, 보조 네트워크 또는 테스트 시간 탐색(test-time search)에 의존한다. 본 연구에서는 플로우 매칭(flow matching)이 다른 제어 인터페이스, 즉 예시를 통한 적응(adaptation through examples)을 허용함을 보인다. 결정론적 보간자(deterministic interpolants)의 경우 속도장(velocity field)은 오로지 조건부 끝점 평균(conditional endpoint mean)에 의해 결정되며, 이 평균을 이동시키면 플로우 자체도 이동한다. 이는 제어 가능한 생성을 위한 간단한 원칙을 제공한다: 사전 학습된 모델이 따르는 참조 집합(reference set)을 변경하여 모델을 조종하는 것이다. 이 아이디어를 두 가지 형태로 구현한다. 참조 평균 가이던스(Reference-Mean Guidance)는 학습이 필요 없으며, 참조 뱅크(reference bank)로부터 닫힌 형태의 끝점 평균 보정(endpoint-mean correction)을 계산하여 동결된 FLUX.2-klein (4B) 모델에 적용함으로써 프롬프트, 시드 및 가중치를 고정한 상태에서 색상, 정체성, 스타일 및 구조를 제어할 수 있게 한다. 반모수적 가이던스(Semi-Parametric Guidance)는 명시적 평균 앵커(explicit mean anchor)와 학습된 잔차 정제기(learned residual refiner)를 통해 동일한 아이디어를 분할 정복(amortize)하며, AFHQv2에서 비조건부 DiT-B/4 수준의 품질을 달성하면서도 추론 시 참조 집합을 교체할 수 있게 한다. 이러한 결과는 보다 넓은 방향성을 시사한다: 매개변수 업데이트가 아닌 데이터를 통해 적응하는 생성 모델.

English

Existing approaches to controllable generation typically rely on fine-tuning, auxiliary networks, or test-time search. We show that flow matching admits a different control interface: adaptation through examples. For deterministic interpolants, the velocity field is solely governed by a conditional endpoint mean; shifting this mean shifts the flow itself. This yields a simple principle for controllable generation: steer a pretrained model by changing the reference set it follows. We instantiate this idea in two forms. Reference-Mean Guidance is training-free: it computes a closed-form endpoint-mean correction from a reference bank and applies it to a frozen FLUX.2-klein (4B) model, enabling control of color, identity, style, and structure while keeping the prompt, seed, and weights fixed. Semi-Parametric Guidance amortizes the same idea through an explicit mean anchor and learned residual refiner, matching unconditional DiT-B/4 quality on AFHQv2 while allowing the reference set to be swapped at inference time. These results point to a broader direction: generative models that adapt through data, not parameter updates.