HyperAlign : Hypermédias pour l'alignement efficace des modèles de diffusion au moment du test
HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models
January 22, 2026
papers.authors: Xin Xie, Jiaxian Guo, Dong Gong
cs.AI
papers.abstract
Les modèles de diffusion atteignent des performances de pointe mais échouent souvent à générer des résultats conformes aux préférences et intentions humaines, produisant des images de faible qualité esthétique et présentant des incohérences sémantiques. Les méthodes d'alignement existantes imposent un compromis difficile : les approches par fine-tuning souffrent d'une perte de diversité due à la suroptimisation des récompenses, tandis que les méthodes de mise à l'échelle au moment du test introduisent une surcharge computationnelle importante et tendent à sous-optimiser. Pour résoudre ces limitations, nous proposons HyperAlign, un nouveau cadre qui entraîne un hyperréseau pour un alignement efficace au moment du test. Au lieu de modifier les états latents, HyperAlign génère dynamiquement des poids d'adaptation à faible rang pour moduler les opérateurs de génération du modèle de diffusion. Cela permet d'ajuster de manière adaptative la trajectoire de débruitage en fonction des entrées latentes, des pas de temps et des prompts pour un alignement conditionné par les récompenses. Nous présentons plusieurs variantes d'HyperAlign qui diffèrent par la fréquence d'application de l'hyperréseau, équilibrant performance et efficacité. De plus, nous optimisons l'hyperréseau en utilisant un objectif de score de récompense régularisé par des données de préférence pour réduire le détournement de récompense. Nous évaluons HyperAlign sur plusieurs paradigmes génératifs étendus, incluant Stable Diffusion et FLUX. Il surpasse significativement les méthodes de référence existantes de fine-tuning et de mise à l'échelle au moment du test pour améliorer la cohérence sémantique et l'attrait visuel.
English
Diffusion models achieve state-of-the-art performance but often fail to generate outputs that align with human preferences and intentions, resulting in images with poor aesthetic quality and semantic inconsistencies. Existing alignment methods present a difficult trade-off: fine-tuning approaches suffer from loss of diversity with reward over-optimization, while test-time scaling methods introduce significant computational overhead and tend to under-optimize. To address these limitations, we propose HyperAlign, a novel framework that trains a hypernetwork for efficient and effective test-time alignment. Instead of modifying latent states, HyperAlign dynamically generates low-rank adaptation weights to modulate the diffusion model's generation operators. This allows the denoising trajectory to be adaptively adjusted based on input latents, timesteps and prompts for reward-conditioned alignment. We introduce multiple variants of HyperAlign that differ in how frequently the hypernetwork is applied, balancing between performance and efficiency. Furthermore, we optimize the hypernetwork using a reward score objective regularized with preference data to reduce reward hacking. We evaluate HyperAlign on multiple extended generative paradigms, including Stable Diffusion and FLUX. It significantly outperforms existing fine-tuning and test-time scaling baselines in enhancing semantic consistency and visual appeal.