Hyperréseaux de bruit : Amortissement du calcul au moment de l'inférence dans les modèles de diffusion

Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models

August 13, 2025

papers.authors: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata

cs.AI

papers.abstract

Le nouveau paradigme de mise à l'échelle au moment du test a permis des avancées remarquables dans les modèles de langage à grande échelle (LLMs) (par exemple, les modèles de raisonnement) et dans les modèles génératifs visuels, permettant aux modèles d'allouer des calculs supplémentaires lors de l'inférence pour résoudre efficacement des problèmes de plus en plus complexes. Malgré les améliorations apportées par cette approche, une limitation importante apparaît : l'augmentation substantielle du temps de calcul rend le processus lent et peu pratique pour de nombreuses applications. Compte tenu du succès de ce paradigme et de son utilisation croissante, nous cherchons à préserver ses avantages tout en évitant la surcharge d'inférence. Dans ce travail, nous proposons une solution au problème critique de l'intégration des connaissances de mise à l'échelle au moment du test dans un modèle après l'entraînement. Plus précisément, nous remplaçons l'optimisation du bruit guidée par récompense au moment du test dans les modèles de diffusion par un Hypernetwork de Bruit qui module le bruit initial en entrée. Nous proposons un cadre théoriquement fondé pour apprendre cette distribution inclinée par récompense pour les générateurs distillés, à travers un objectif dans l'espace du bruit qui maintient la fidélité au modèle de base tout en optimisant les caractéristiques souhaitées. Nous montrons que notre approche récupère une partie substantielle des gains de qualité provenant de l'optimisation explicite au moment du test à une fraction du coût de calcul. Le code est disponible à l'adresse https://github.com/ExplainableML/HyperNoise.

English

The new paradigm of test-time scaling has yielded remarkable breakthroughs in Large Language Models (LLMs) (e.g. reasoning models) and in generative vision models, allowing models to allocate additional computation during inference to effectively tackle increasingly complex problems. Despite the improvements of this approach, an important limitation emerges: the substantial increase in computation time makes the process slow and impractical for many applications. Given the success of this paradigm and its growing usage, we seek to preserve its benefits while eschewing the inference overhead. In this work we propose one solution to the critical problem of integrating test-time scaling knowledge into a model during post-training. Specifically, we replace reward guided test-time noise optimization in diffusion models with a Noise Hypernetwork that modulates initial input noise. We propose a theoretically grounded framework for learning this reward-tilted distribution for distilled generators, through a tractable noise-space objective that maintains fidelity to the base model while optimizing for desired characteristics. We show that our approach recovers a substantial portion of the quality gains from explicit test-time optimization at a fraction of the computational cost. Code is available at https://github.com/ExplainableML/HyperNoise