Rausch-Hypernetzwerke: Amortisierung von Rechenleistung zur Testzeit in Diffusionsmodellen
Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models
August 13, 2025
papers.authors: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata
cs.AI
papers.abstract
Das neue Paradigma des Testzeit-Skalierens hat bemerkenswerte Durchbrüche in Large Language Models (LLMs) (z.B. Reasoning-Modelle) und in generativen Vision-Modellen erzielt, wodurch Modelle zusätzliche Berechnungen während der Inferenz zuweisen können, um zunehmend komplexe Probleme effektiv zu bewältigen. Trotz der Verbesserungen durch diesen Ansatz ergibt sich eine wichtige Einschränkung: Der erhebliche Anstieg der Berechnungszeit macht den Prozess langsam und unpraktisch für viele Anwendungen. Angesichts des Erfolgs dieses Paradigmas und seiner zunehmenden Verwendung streben wir an, seine Vorteile zu bewahren, während wir den Inferenz-Overhead vermeiden. In dieser Arbeit schlagen wir eine Lösung für das kritische Problem der Integration von Testzeit-Skalierungs-Wissen in ein Modell während des Post-Trainings vor. Konkret ersetzen wir die belohnungsgesteuerte Testzeit-Rauschoptimierung in Diffusionsmodellen durch ein Noise-Hypernetwork, das das anfängliche Eingangsrauschen moduliert. Wir schlagen einen theoretisch fundierten Rahmen für das Lernen dieser belohnungsgeneigten Verteilung für destillierte Generatoren vor, durch ein handhabbares Rauschraum-Ziel, das die Treue zum Basismodell bewahrt, während es für gewünschte Eigenschaften optimiert. Wir zeigen, dass unser Ansatz einen erheblichen Teil der Qualitätsgewinne aus der expliziten Testzeit-Optimierung bei einem Bruchteil der Berechnungskosten wiederherstellt. Der Code ist verfügbar unter https://github.com/ExplainableML/HyperNoise.
English
The new paradigm of test-time scaling has yielded remarkable breakthroughs in
Large Language Models (LLMs) (e.g. reasoning models) and in generative vision
models, allowing models to allocate additional computation during inference to
effectively tackle increasingly complex problems. Despite the improvements of
this approach, an important limitation emerges: the substantial increase in
computation time makes the process slow and impractical for many applications.
Given the success of this paradigm and its growing usage, we seek to preserve
its benefits while eschewing the inference overhead. In this work we propose
one solution to the critical problem of integrating test-time scaling knowledge
into a model during post-training. Specifically, we replace reward guided
test-time noise optimization in diffusion models with a Noise Hypernetwork that
modulates initial input noise. We propose a theoretically grounded framework
for learning this reward-tilted distribution for distilled generators, through
a tractable noise-space objective that maintains fidelity to the base model
while optimizing for desired characteristics. We show that our approach
recovers a substantial portion of the quality gains from explicit test-time
optimization at a fraction of the computational cost. Code is available at
https://github.com/ExplainableML/HyperNoise