HyperAlign: Hypernetzwerk zur effizienten Testzeit-Anpassung von Diffusionsmodellen
HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models
January 22, 2026
papers.authors: Xin Xie, Jiaxian Guo, Dong Gong
cs.AI
papers.abstract
Diffusionsmodelle erzielen Spitzenleistungen, scheitern jedoch häufig daran, Ausgaben zu generieren, die mit menschlichen Präferenzen und Intentionen übereinstimmen, was zu Bildern mit geringer ästhetischer Qualität und semantischen Inkonsistenzen führt. Bestehende Alignment-Methoden stellen eine schwierige Abwägung dar: Fine-Tuning-Ansätze leiden unter Diversitätsverlust durch Reward-Over-Optimierung, während Test-Time-Scaling-Methoden erheblichen Rechenaufwand verursachen und zur Unter-Optimierung neigen. Um diese Einschränkungen zu adressieren, schlagen wir HyperAlign vor, ein neuartiges Framework, das ein Hypernetzwerk für effizientes und effektives Test-Time-Alignment trainiert. Anstatt latente Zustände zu modifizieren, generiert HyperAlign dynamisch Low-Rank-Adaptation-Gewichte, um die Generierungsoperatoren des Diffusionsmodells zu modulieren. Dies ermöglicht eine adaptive Anpassung der Denoising-Trajektorie basierend auf Input-Latents, Zeitschritten und Prompts für reward-konditioniertes Alignment. Wir führen mehrere Varianten von HyperAlign ein, die sich in der Häufigkeit der Hypernetzwerk-Anwendung unterscheiden und so Leistung und Effizienz abwägen. Darüber hinaus optimieren wir das Hypernetzwerk mit einem Reward-Score-Ziel, das mit Präferenzdaten regularisiert wird, um Reward-Hacking zu reduzieren. Wir evaluieren HyperAlign anhand mehrerer erweiterter generativer Paradigmen, einschließlich Stable Diffusion und FLUX. Es übertrifft bestehende Fine-Tuning- und Test-Time-Scaling-Baselines deutlich bei der Verbesserung semantischer Konsistenz und visueller Anziehungskraft.
English
Diffusion models achieve state-of-the-art performance but often fail to generate outputs that align with human preferences and intentions, resulting in images with poor aesthetic quality and semantic inconsistencies. Existing alignment methods present a difficult trade-off: fine-tuning approaches suffer from loss of diversity with reward over-optimization, while test-time scaling methods introduce significant computational overhead and tend to under-optimize. To address these limitations, we propose HyperAlign, a novel framework that trains a hypernetwork for efficient and effective test-time alignment. Instead of modifying latent states, HyperAlign dynamically generates low-rank adaptation weights to modulate the diffusion model's generation operators. This allows the denoising trajectory to be adaptively adjusted based on input latents, timesteps and prompts for reward-conditioned alignment. We introduce multiple variants of HyperAlign that differ in how frequently the hypernetwork is applied, balancing between performance and efficiency. Furthermore, we optimize the hypernetwork using a reward score objective regularized with preference data to reduce reward hacking. We evaluate HyperAlign on multiple extended generative paradigms, including Stable Diffusion and FLUX. It significantly outperforms existing fine-tuning and test-time scaling baselines in enhancing semantic consistency and visual appeal.