Ideias em Escalonamento no Tempo de Inferência Podem Beneficiar Algoritmos de Pré-treinamento Generativo

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms

March 10, 2025

Autores: Jiaming Song, Linqi Zhou

cs.AI

Resumo

Nos últimos anos, observamos avanços significativos em modelos de base por meio de pré-treinamento generativo, porém a inovação algorítmica nesse espaço tem estagnado principalmente em torno de modelos autoregressivos para sinais discretos e modelos de difusão para sinais contínuos. Essa estagnação cria um gargalo que nos impede de desbloquear totalmente o potencial de dados multimodais ricos, o que, por sua vez, limita o progresso na inteligência multimodal. Argumentamos que uma perspectiva centrada na inferência, que prioriza a eficiência de escala durante o tempo de inferência em relação ao comprimento da sequência e etapas de refinamento, pode inspirar novos algoritmos de pré-treinamento generativo. Usando o Inductive Moment Matching (IMM) como exemplo concreto, demonstramos como abordar as limitações no processo de inferência dos modelos de difusão por meio de modificações direcionadas resulta em um algoritmo estável e de estágio único, que alcança qualidade superior de amostras com uma eficiência de inferência mais de uma ordem de magnitude maior.

English

Recent years have seen significant advancements in foundation models through generative pre-training, yet algorithmic innovation in this space has largely stagnated around autoregressive models for discrete signals and diffusion models for continuous signals. This stagnation creates a bottleneck that prevents us from fully unlocking the potential of rich multi-modal data, which in turn limits the progress on multimodal intelligence. We argue that an inference-first perspective, which prioritizes scaling efficiency during inference time across sequence length and refinement steps, can inspire novel generative pre-training algorithms. Using Inductive Moment Matching (IMM) as a concrete example, we demonstrate how addressing limitations in diffusion models' inference process through targeted modifications yields a stable, single-stage algorithm that achieves superior sample quality with over an order of magnitude greater inference efficiency.