단일 토큰을 넘어서: 이산 MMD를 통한 이산 확산 모델의 정제

초록

현재 이산 확산 모델의 증류는 어려운 과제입니다. 이와 대조적으로 연속 확산 분야에는 샘플링 단계를 극소수로 줄일 수 있는 다양한 증류 기법이 존재합니다. 우리의 방법인 Discrete Moment Matching Distillation(D-MMD)은 연속 영역에서 높은 성공을 거둔 아이디어를 활용합니다. 기존 이산 증류 방법들이 성능이 저하되는 반면, D-MMD는 (충분한 샘플링 단계가 주어졌을 때) 높은 품질과 다양성을 유지합니다. 이는 텍스트와 이미지 데이터셋 모두에서 입증되었습니다. 더 나아가 새롭게 증류된 생성기는 교사 모델을 능가하는 성능을 보여줍니다.

English

It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.

단일 토큰을 넘어서: 이산 MMD를 통한 이산 확산 모델의 정제

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

초록

Support