탐색적 모델링: 제3의 사전학습 축의 구현과 종단간 생성

초록

AlexNet이 촉발한 딥러닝 혁명은 종단간 훈련이 문제를 수작업으로 설계된 단계들로 분해하는 것보다 우수하다는 것을 보여주었다. 그러나 생성 모델링은 여전히 예외로 남아 있다. 생성 모델이 놀랍도록 강력함에도 불구하고, 이들은 여전히 종단간으로 훈련되지 않는다. 그 이유는 생성 모델링의 핵심이 다중 모드를 가진 분포를 다루는 것이며, 기존의 확장 가능한 접근법들은 생성 절차를 분해함으로써 동일한 방식으로 이를 처리하기 때문이다. 이는 종단간 생성을 방해한다. 본 연구에서는 훈련 루프를 분해하는 새로운 패러다임인 탐색적 모델링(Explorative Modeling)을 소개한다. 이는 모델 생성과 데이터 간의 K개 후보 매칭을 탐색하고 최상의 매칭으로 훈련하여, 예측이 모드를 흐릿하게 만들지 않고 모드에 특화되도록 한다. 우리는 탐색적 모델(XM)이 두 가지 설정에서 유용함을 발견했다. 첫째, 탐색을 증가시키는 것은 기존 생성 모델에 파라미터와 데이터를 넘어선 세 번째 사전학습 축을 추가하는 것이다. 여기서 탐색의 확장은 연속 및 이산 영역(이미지, 비디오, 언어) 모두에서 성능을 단조적으로 개선한다. 특히, 탐색으로 인한 이득은 규모가 커질수록 증가하는데, 데이터가 확장됨에 따라 7%에서 36%로, 모델이 커짐에 따라 13%에서 23%로 상승하며, 3배의 계산량에서 효율성 이득은 두 배 이상 증가한다. 구체적으로, 탐색은 FLOP 효율성을 4.1배, 샘플 효율성을 6.2배, 파라미터 효율성을 47% 향상시키고, 이미지 생성 기법 중 가장 강력한 방법을 가이던스 없이 ImageNet에서 최신 기술에 근접한 1.43 FID로 끌어올리며, 기존 모델의 종단간성을 확장하는 방법을 가능하게 하고 일반화 확장을 실현한다. 둘째, XM은 종단간 재구성 생성 모델링을 가능하게 하여, 16-256배 적은 추론 단계로 제어 작업에서 확산 모델과 대등한 성능을 달성한다. 종합하면, 이러한 결과는 XM을 기존 생성 모델을 위한 새로운 사전학습 축이자 독립적인 종단간 생성 모델링 패러다임으로 확립한다.

English

The deep learning revolution, kicked off by AlexNet, taught us that end-to-end training beats decomposing a problem into hand-designed stages. Generative modeling, however, has remained the exception-despite generative models being remarkably capable, they are still not trained end-to-end. This is because, at its core, generative modeling is about handling distributions with many modes, and existing scalable approaches handle this the same way, by factoring the generation procedure, which prevents end-to-end generation. In this work, we introduce Explorative Modeling, a new paradigm that instead factors the training loop, exploring K candidate matches between model generations and data, and training on the best, so predictions commit to modes rather than blurring them. We find Explorative Models (XMs) useful in two settings. First, increasing exploration adds a third pretraining axis beyond parameters and data for existing generative models-where scaling exploration monotonically improves performance across both continuous and discrete domains (images, video, and language). Notably, gains from exploration increase with scale, climbing from 7% to 36% as data scales and from 13% to 23% as models grow, with efficiency gains more than doubling at 3x the compute. Concretely, exploration improves FLOP efficiency by 4.1x, sample efficiency by 6.2x, parameter efficiency by 47%, lifts the strongest of image-generation recipes to a near-state-of-the-art 1.43 FID on ImageNet without guidance, enables scaling how end-to-end existing models are, and unlocks scaling generalization. Second, XMs enable end-to-end reconstructive generative modeling, matching diffusion on control tasks with 16-256x fewer inference steps. Together, these results establish XMs as both a new pretraining axis for existing generative models and a standalone end-to-end generative modeling paradigm.