Any-OPD: 표현 공간 브리징을 통한 플로우 매칭 모델의 이종 온-폴리시 증류

초록

온-폴리시(on-policy) 증류는 교사 모델이 학생 모델이 스스로 생성한 샘플을 교정하는 방식으로, 두 모델이 동일한 언어를 사용한다고 전제한다. 즉, 동일한 VAE 잠재 변수, 일치하는 아키텍처, 공통된 타임스텝 그리드를 요구한다. 우리는 이러한 전제가 하나도 성립하지 않는 경우, 예를 들어 사용 가능한 가장 강력한 교사 모델과 배포하려는 학생 모델이 서로 다른 모델 계열에서 비롯된 경우에 어떤 일이 발생하는지 질문하며, 표준 방법으로는 해결책이 없음을 발견한다. 교사 모델의 잠재 변수는 이질적인 좌표계에서 목표값으로 사용될 수 없고, 국소적 세부를 확률적으로 다시 그리는 교사 모델에 대한 픽셀별 손실은 블러나 발산으로 퇴화하며, 타임스텝 인덱스는 일치하지 않는 스케줄에서 의미를 잃는다. 우리는 우리가 아는 한 잠재 흐름 매칭 생성기 간 임의의 쌍에 대한 온-폴리시 증류를 위한 최초의 프레임워크인 Any-OPD를 제시한다. Any-OPD는 교사 모델을 순수하게 블랙박스 샘플러로 취급하며, 두 모델을 정확히 한 지점에서 연결한다. 독립적으로 디코딩된 출력이 비교되는, 고정된 모델 비특정적 비전 표현을 통해 잠재 변수, 특징, 아키텍처에 관한 모든 가정을 우회한다. 궤적 대응은 스텝 인덱스 대신 연속적인 노이즈 수준을 매칭하여 복원되며, 교사 샘플이 학생 모델 자체의 VAE를 통해 재인코딩되는 짧은 앵커링 단계를 통해 온-폴리시 기울기가 도메인 불일치가 아닌 샘플 품질을 측정하도록 보장한다. 12B FLUX.1-dev를 2.5B SD3.5-Medium으로 증류할 때, Any-OPD는 학생 모델의 PickScore를 0.846에서 0.884로, HPSv3를 9.12에서 10.97로 끌어올리며, 크기가 5분의 1임에도 교사 모델에 필적한다. 반면 직접적인 잠재 변수 회귀는 전혀 학습되지 않는다.

English

On-policy distillation, in which a teacher corrects samples that the student itself generates, presupposes that the two models speak the same language: identical VAE latents, matching architectures, and a common timestep grid. We ask what happens when none of this holds, as when the strongest teacher available and the student one wishes to deploy come from different model families, and find that the standard recipes have no answer: teacher latents cannot serve as targets in a foreign coordinate system, per-pixel losses against a teacher that stochastically re-draws local detail degenerate into blur or divergence, and timestep indices lose their meaning across mismatched schedules. We present Any-OPD, to our knowledge the first framework for on-policy distillation between arbitrary pairs of latent flow-matching generators. Any-OPD treats the teacher purely as a black-box sampler and connects the two models at exactly one point: a frozen, model-agnostic vision representation in which their independently decoded outputs are compared, sidestepping every assumption about latents, features, or architecture. Trajectory correspondence is recovered by matching continuous noise levels instead of step indices, and a brief anchoring phase, in which teacher samples are re-encoded through the student's own VAE, ensures the on-policy gradient measures sample quality rather than domain mismatch. Distilling the 12B FLUX.1-dev into the 2.5B SD3.5-Medium, Any-OPD lifts the student's PickScore from 0.846 to 0.884 and HPSv3 from 9.12 to 10.97, rivaling the teacher at a fifth of its size, where direct latent regression fails to train at all.