추론 시점 스케일링의 아이디어가 생성적 사전 훈련 알고리즘에 이점을 제공할 수 있다

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms

March 10, 2025

저자: Jiaming Song, Linqi Zhou

cs.AI

초록

최근 몇 년간 생성적 사전 학습을 통해 기초 모델(foundation model) 분야에서 상당한 진전이 있었지만, 이 분야의 알고리즘 혁신은 이산 신호를 위한 자기회귀 모델과 연속 신호를 위한 확산 모델 주변에서 크게 정체되어 왔습니다. 이러한 정체는 풍부한 다중 모달 데이터의 잠재력을 완전히 발휘하는 데 걸림돌이 되며, 이는 다시 다중 모달 지능의 발전을 제한합니다. 우리는 시퀀스 길이와 정제 단계에서 추론 시간의 확장 효율성을 우선시하는 '추론 우선 관점(inference-first perspective)'이 새로운 생성적 사전 학습 알고리즘을 고무할 수 있다고 주장합니다. 귀납적 모멘트 매칭(Inductive Moment Matching, IMM)을 구체적인 예로 사용하여, 확산 모델의 추론 과정에서의 한계를 표적 수정을 통해 해결함으로써 안정적이고 단일 단계의 알고리즘이 우수한 샘플 품질과 추론 효율성을 크게 향상시킬 수 있음을 보여줍니다.

English

Recent years have seen significant advancements in foundation models through generative pre-training, yet algorithmic innovation in this space has largely stagnated around autoregressive models for discrete signals and diffusion models for continuous signals. This stagnation creates a bottleneck that prevents us from fully unlocking the potential of rich multi-modal data, which in turn limits the progress on multimodal intelligence. We argue that an inference-first perspective, which prioritizes scaling efficiency during inference time across sequence length and refinement steps, can inspire novel generative pre-training algorithms. Using Inductive Moment Matching (IMM) as a concrete example, we demonstrate how addressing limitations in diffusion models' inference process through targeted modifications yields a stable, single-stage algorithm that achieves superior sample quality with over an order of magnitude greater inference efficiency.