고정된 픽셀 공간 확산 모델은 자체 샘플로 스스로를 안내할 수 있다

초록

픽셀 공간 확산 모델은 원시 픽셀 위에서 직접 종단 간 생성기를 학습하는 것을 목표로 한다. 이는 단일 모델이 동일한 고차원 공간에서 전역 구조와 지역 질감을 모두 포착해야 하기 때문에 어렵다. 최근 연구들은 대체 예측 대상, 학습 목적, 아키텍처를 통해 픽셀 확산을 개선하지만, 이러한 발전들은 일반적으로 새로운 모델을 처음부터 학습시켜야 한다. 우리는 더 저렴하고 보완적인 전략이 있음을 보여준다: 동결된 사전 학습 픽셀 확산 모델이 자기 자신을 안내할 수 있다. 핵심 관찰은 사전 학습된 픽셀 확산 트랜스포머의 중간 레이어가 주요 저주파 구조를 포착하는 거친 예측으로 디코딩될 수 있고, 최종 레이어는 국소 고주파 세부 사항을 점진적으로 정제한다는 것이다. 따라서 우리는 중간 레이어에 경량 예측 헤드를 부착하고, 백본을 동결한 채, 중간 예측과 최종 예측 간의 차이를 샘플링 중 자기 안내 방향으로 사용한다. 이 헤드를 학습시키기 위해 실제 이미지가 필요하지 않음을 추가로 발견했다. 대신 모델 생성 샘플만으로 충분하며, 특히 픽셀 확산이 과소적합하는 경향이 있는 고주파 성분을 강화하는 데 있어 실제 이미지보다 더 나은 성능을 보인다. ImageNet의 여러 픽셀 확산 모델에서, 우리의 합성 자기 안내(SSG)는 일관되게 생성을 개선하며 어댑터 학습은 전체 모델 학습 계산량의 1% 미만을 요구한다. 즉, 분류기 없는 안내(CFG) 없이 평가된 JiT 변형들에서 FID를 50% 이상 줄이고, CFG를 사용하는 강력한 기준 모델들을 더욱 개선한다(예: JiT-H/16은 1.86에서 1.67로, PixelREPA-H/16은 1.81에서 1.59로). 우리의 코드는 https://github.com/zfu006/SSG에서 확인할 수 있다.

English

Pixel-space diffusion models aim to learn an end-to-end generator directly over raw pixels. This is challenging because a single model must capture both global structure and local texture in the same high-dimensional space. While recent work improves pixel diffusion through alternative prediction targets, training objectives, and architectures, these advances typically require training a new model from scratch. We show there is a cheaper, complementary strategy: a frozen, pretrained pixel diffusion model can guide itself. Our key observation is that intermediate layers of a pretrained pixel diffusion transformer can be decoded into coarse predictions that capture the main low-frequency structure, while the final layers progressively refine local, high-frequency details. We therefore attach a lightweight prediction head to an intermediate layer, keep the backbone frozen, and use the discrepancy between the intermediate and final predictions as a self-guidance direction during sampling. To train this head, we further find that real images are not necessary. Instead, model-generated samples suffice and even outperform real images for training the head, especially in enhancing the high-frequency components that pixel diffusion tends to underfit. Across multiple pixel diffusion models on ImageNet, our Synthetic Self-Guidance (SSG) consistently improves generation while adapter training requires less than 1% of full-model training compute: it reduces FID by over 50% across the evaluated JiT variants without classifier-free guidance (CFG) and further improves strong baselines with CFG, e.g., JiT-H/16 from 1.86 to 1.67 and PixelREPA-H/16 from 1.81 to 1.59. Our code is available at https://github.com/zfu006/SSG.