Ruis Hypernetwerken: Amortisatie van Rekenkracht tijdens Testtijd in Diffusiemodellen
Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models
August 13, 2025
Auteurs: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata
cs.AI
Samenvatting
Het nieuwe paradigma van schalen tijdens testtijd heeft opmerkelijke doorbraken opgeleverd in grote taalmodelen (LLM's) (bijv. redeneermodellen) en in generatieve visuele modellen, waardoor modellen tijdens inferentie extra rekenkracht kunnen toewijzen om steeds complexere problemen effectief aan te pakken. Ondanks de verbeteringen die deze aanpak biedt, ontstaat een belangrijke beperking: de aanzienlijke toename in rekentijd maakt het proces traag en onpraktisch voor veel toepassingen. Gezien het succes van dit paradigma en het groeiende gebruik ervan, streven we ernaar de voordelen ervan te behouden terwijl we de inferentie-overhead vermijden. In dit werk stellen we een oplossing voor voor het kritieke probleem van het integreren van kennis over schalen tijdens testtijd in een model na de training. Specifiek vervangen we beloningsgestuurde optimalisatie van ruis tijdens testtijd in diffusiemodellen door een Noise Hypernetwork dat de initiële invoerruis moduleert. We stellen een theoretisch onderbouwd raamwerk voor voor het leren van deze beloningsgeoriënteerde verdeling voor gedistilleerde generatoren, via een hanteerbaar doel in de ruisruimte dat trouw blijft aan het basismodel terwijl het optimaliseert voor gewenste eigenschappen. We tonen aan dat onze aanpak een aanzienlijk deel van de kwaliteitswinst van expliciete optimalisatie tijdens testtijd herstelt tegen een fractie van de rekenkosten. Code is beschikbaar op https://github.com/ExplainableML/HyperNoise.
English
The new paradigm of test-time scaling has yielded remarkable breakthroughs in
Large Language Models (LLMs) (e.g. reasoning models) and in generative vision
models, allowing models to allocate additional computation during inference to
effectively tackle increasingly complex problems. Despite the improvements of
this approach, an important limitation emerges: the substantial increase in
computation time makes the process slow and impractical for many applications.
Given the success of this paradigm and its growing usage, we seek to preserve
its benefits while eschewing the inference overhead. In this work we propose
one solution to the critical problem of integrating test-time scaling knowledge
into a model during post-training. Specifically, we replace reward guided
test-time noise optimization in diffusion models with a Noise Hypernetwork that
modulates initial input noise. We propose a theoretically grounded framework
for learning this reward-tilted distribution for distilled generators, through
a tractable noise-space objective that maintains fidelity to the base model
while optimizing for desired characteristics. We show that our approach
recovers a substantial portion of the quality gains from explicit test-time
optimization at a fraction of the computational cost. Code is available at
https://github.com/ExplainableML/HyperNoise