크기가 항상 더 나은 것은 아니다: 잠재 확산 모델의 스케일링 특성

Bigger is not Always Better: Scaling Properties of Latent Diffusion Models

April 1, 2024

저자: Kangfu Mei, Zhengzhong Tu, Mauricio Delbracio, Hossein Talebi, Vishal M. Patel, Peyman Milanfar

cs.AI

초록

우리는 샘플링 효율성에 중점을 두고 잠재 확산 모델(LDMs)의 스케일링 특성을 연구한다. 개선된 네트워크 아키텍처와 추론 알고리즘이 확산 모델의 샘플링 효율성을 효과적으로 향상시킬 수 있음이 입증되었지만, 샘플링 효율성의 중요한 결정 요인인 모델 크기의 역할은 철저히 검토되지 않았다. 기존의 텍스트-이미지 확산 모델에 대한 실증적 분석을 통해, 우리는 다양한 샘플링 단계에서 모델 크기가 샘플링 효율성에 미치는 영향을 심층적으로 조사한다. 우리의 연구 결과는 놀라운 경향을 드러낸다: 주어진 추론 예산 내에서 작동할 때, 더 작은 모델들이 더 큰 모델들보다 고품질 결과를 생성하는 데 더 자주 우수한 성능을 보인다. 더 나아가, 우리는 다양한 확산 샘플러를 적용하고, 다양한 다운스트림 작업을 탐구하며, 사후 증류된 모델을 평가하고, 훈련 계산량 대비 성능을 비교함으로써 이러한 발견의 일반화 가능성을 입증한다. 이러한 발견들은 제한된 추론 예산 내에서 생성 능력을 향상시키기 위해 활용될 수 있는 LDM 스케일링 전략 개발을 위한 새로운 경로를 열어준다.

English

We study the scaling properties of latent diffusion models (LDMs) with an emphasis on their sampling efficiency. While improved network architecture and inference algorithms have shown to effectively boost sampling efficiency of diffusion models, the role of model size -- a critical determinant of sampling efficiency -- has not been thoroughly examined. Through empirical analysis of established text-to-image diffusion models, we conduct an in-depth investigation into how model size influences sampling efficiency across varying sampling steps. Our findings unveil a surprising trend: when operating under a given inference budget, smaller models frequently outperform their larger equivalents in generating high-quality results. Moreover, we extend our study to demonstrate the generalizability of the these findings by applying various diffusion samplers, exploring diverse downstream tasks, evaluating post-distilled models, as well as comparing performance relative to training compute. These findings open up new pathways for the development of LDM scaling strategies which can be employed to enhance generative capabilities within limited inference budgets.