HyperAlign: Iper-rete per l'Allineamento Efficiente al Momento del Test di Modelli di Diffusione

HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models

January 22, 2026

Autori: Xin Xie, Jiaxian Guo, Dong Gong

cs.AI

Abstract

I modelli di diffusione raggiungono prestazioni all'avanguardia, ma spesso falliscono nel generare output allineati con le preferenze e le intenzioni umane, producendo immagini di scarsa qualità estetica e con incoerenze semantiche. I metodi di allineamento esistenti presentano un difficile compromesso: gli approcci di fine-tuning soffrono di una perdita di diversità a causa dell'iper-ottimizzazione del reward, mentre i metodi di scaling a tempo di test introducono un sovraccarico computazionale significativo e tendono a una sotto-ottimizzazione. Per affrontare queste limitazioni, proponiamo HyperAlign, un framework innovativo che addestra un hypernetwork per un allineamento efficiente ed efficace a tempo di test. Invece di modificare gli stati latenti, HyperAlign genera dinamicamente pesi di adattamento a basso rango per modulare gli operatori di generazione del modello di diffusione. Ciò consente di regolare adattivamente la traiettoria di denoising in base ai latenti di input, ai time-step e ai prompt per un allineamento condizionato al reward. Introduciamo multiple varianti di HyperAlign che differiscono per la frequenza di applicazione dell'hypernetwork, bilanciando prestazioni ed efficienza. Inoltre, ottimizziamo l'hypernetwork utilizzando un obiettivo di punteggio di reward regolarizzato con dati di preferenza per ridurre il reward hacking. Valutiamo HyperAlign su molteplici paradigmi generativi estesi, inclusi Stable Diffusion e FLUX. Il metodo supera significativamente le baseline esistenti di fine-tuning e scaling a tempo di test nel migliorare la coerenza semantica e l'attrattiva visiva.

English

Diffusion models achieve state-of-the-art performance but often fail to generate outputs that align with human preferences and intentions, resulting in images with poor aesthetic quality and semantic inconsistencies. Existing alignment methods present a difficult trade-off: fine-tuning approaches suffer from loss of diversity with reward over-optimization, while test-time scaling methods introduce significant computational overhead and tend to under-optimize. To address these limitations, we propose HyperAlign, a novel framework that trains a hypernetwork for efficient and effective test-time alignment. Instead of modifying latent states, HyperAlign dynamically generates low-rank adaptation weights to modulate the diffusion model's generation operators. This allows the denoising trajectory to be adaptively adjusted based on input latents, timesteps and prompts for reward-conditioned alignment. We introduce multiple variants of HyperAlign that differ in how frequently the hypernetwork is applied, balancing between performance and efficiency. Furthermore, we optimize the hypernetwork using a reward score objective regularized with preference data to reduce reward hacking. We evaluate HyperAlign on multiple extended generative paradigms, including Stable Diffusion and FLUX. It significantly outperforms existing fine-tuning and test-time scaling baselines in enhancing semantic consistency and visual appeal.