Poly-OPD: 성능 선택형 플로우 모델을 위한 이종 다중 교사 온-폴리시 증류

초록

선도적인 공개 텍스트-이미지 모델들은 종종 상호보완적인 강점을 지닌다. 한 모델은 선호도 정렬 미적 품질에서 우수할 수 있는 반면, 다른 모델은 구성적 지시를 더 충실히 따르기도 한다. 그러나 각 모델의 오토인코더와 노이즈 스케줄의 차이로 인해 이러한 강점을 모델 간에 전이하는 것은 어렵다. 본 논문에서는 이종(heterogeneous) 교사 모델들의 상호보완적 강점을 하나의 소형 플로우 매칭 학생 모델로 통합할 수 있는 프레임워크인 Poly-OPD를 제안한다. Poly-OPD는 서로 다른 교사 모델들의 비호환적 잠재 공간을 연결하기 위해 픽셀 브리지(pixel bridge)를 통한 온-폴리시 증류(on-policy distillation)를 수행한다. 각 학생 모델이 생성한 이미지는 선택된 교사 모델의 인코더로 재인코딩되며, 교사 모델의 노이즈 스케줄에서 크기(magnitude)가 일치하는 노이즈 수준으로부터 정제된다. 결과적인 타겟은 고정된 DINOv2 공간에서 학생 모델과 추가로 정합되어, 비호환적 잠재 공간에 걸친 감독(supervision)을 가능하게 한다. 교사 간 간섭 없이 상호보완적 능력을 유지하기 위해, Poly-OPD는 그래디언트 호환성 진단(gradient compatibility diagnostic)을 사용하여 어댑터를 구성한다. 즉, 어텐션 LoRA 모듈은 교사 모델들 간에 공유되는 반면, 피드포워드 어댑터는 교사별로 유지된다. 증류 과정에서 격차 인지 커리큘럼(gap-aware curriculum)은 학생 모델이 교사 모델에 여전히 미치지 못하는 구성적 범주에 더 많은 학습을 할당한다. 각 격차가 좁혀짐에 따라 훈련은 더 큰 잔여 격차가 있는 범주로 이동한다. Poly-OPD는 FLUX.1-dev와 Z-Image를 2.5B 규모의 SD3.5-Medium 학생 모델로 증류하여 GenEval 점수를 67.3에서 73.3으로 개선함으로써 더 큰 두 교사 모델을 모두 능가하며, DrawBench HPSv3 점수를 9.34에서 11.35로 향상시켜 전환 가능한 모델 내에서 두 강점을 모두 통합한다.

English

Leading open text-to-image models often carry complementary strengths: one may lead on preference-aligned aesthetics while another follows compositional instructions more faithfully. However, differences in their autoencoders and noise schedules make it difficult to transfer these strengths across models. In this paper, we present Poly-OPD, a framework that can consolidate complementary strengths of heterogeneous teachers into a single compact flow-matching student. To bridge the incompatible latent spaces of different teachers, Poly-OPD performs on-policy distillation through a pixel bridge. Each student-generated image is re-encoded by a selected teacher's encoder and refined from a noise level matched by magnitude under the teacher's noise schedule. The resulting target is further matched to the student in frozen DINOv2 space, enabling supervision across incompatible latent spaces. To retain complementary capabilities without cross-teacher interference, Poly-OPD uses a gradient compatibility diagnostic to organize its adapters: attention LoRA modules are shared across teachers, whereas feed-forward adapters remain teacher-specific. During distillation, a gap-aware curriculum devotes more training to compositional categories where the student still falls short of the teacher. As each gap narrows, training shifts toward categories with larger remaining gaps. By distilling FLUX.1-dev and Z-Image into a 2.5B SD3.5-Medium student, Poly-OPD improves GenEval from 67.3 to 73.3, surpassing both larger teachers, and raises DrawBench HPSv3 from 9.34 to 11.35, consolidating both strengths within a switchable model.