HyperAlign: Hypernetwerk voor Efficiënte Testtijd-afstemming van Diffusiemodellen
HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models
January 22, 2026
Auteurs: Xin Xie, Jiaxian Guo, Dong Gong
cs.AI
Samenvatting
Diffusiemodellen behalen state-of-the-art prestaties, maar slagen er vaak niet in om uitvoer te genereren die aansluit bij menselijke voorkeuren en intenties, wat resulteert in beelden met een slechte esthetische kwaliteit en semantische inconsistenties. Bestaande afstemmingsmethoden presenteren een moeilijke afweging: fine-tuning benaderingen leiden tot verlies van diversiteit door overoptimalisatie van beloningsscores, terwijl methoden voor schaling tijdens het testen aanzienlijke rekenkosten met zich meebrengen en de neiging hebben tot onderoptimalisatie. Om deze beperkingen aan te pakken, stellen wij HyperAlign voor, een nieuw raamwerk dat een hypernetwerk traint voor efficiënte en effectieve afstemming tijdens het testen. In plaats van latente toestanden aan te passen, genereert HyperAlign dynamisch gewichten voor low-rank aanpassing om de generatie-operatoren van het diffusiemodel te moduleren. Hierdoor kan het traject van ruimverwijdering adaptief worden aangepast op basis van invoer-latente variabelen, tijdstappen en prompts voor afstemming met voorwaarden gebaseerd op beloning. Wij introduceren meerdere varianten van HyperAlign die verschillen in hoe vaak het hypernetwerk wordt toegepast, om een balans te vinden tussen prestaties en efficiëntie. Verder optimaliseren we het hypernetwerk met een doelstelling voor beloningsscores, geregulariseerd met voorkeursdata, om 'reward hacking' te verminderen. We evalueren HyperAlign op meerdere uitgebreide generatieve paradigma's, waaronder Stable Diffusion en FLUX. Het presteert aanzienlijk beter dan bestaande fine-tuning en test-time scaling baseline-methoden in het verbeteren van semantische consistentie en visuele aantrekkelijkheid.
English
Diffusion models achieve state-of-the-art performance but often fail to generate outputs that align with human preferences and intentions, resulting in images with poor aesthetic quality and semantic inconsistencies. Existing alignment methods present a difficult trade-off: fine-tuning approaches suffer from loss of diversity with reward over-optimization, while test-time scaling methods introduce significant computational overhead and tend to under-optimize. To address these limitations, we propose HyperAlign, a novel framework that trains a hypernetwork for efficient and effective test-time alignment. Instead of modifying latent states, HyperAlign dynamically generates low-rank adaptation weights to modulate the diffusion model's generation operators. This allows the denoising trajectory to be adaptively adjusted based on input latents, timesteps and prompts for reward-conditioned alignment. We introduce multiple variants of HyperAlign that differ in how frequently the hypernetwork is applied, balancing between performance and efficiency. Furthermore, we optimize the hypernetwork using a reward score objective regularized with preference data to reduce reward hacking. We evaluate HyperAlign on multiple extended generative paradigms, including Stable Diffusion and FLUX. It significantly outperforms existing fine-tuning and test-time scaling baselines in enhancing semantic consistency and visual appeal.