LISA : Alignement des scores de vraisemblance pour la génération contrôlable par condition visuelle

Résumé

Le paradigme à double branche prédominant, qui consiste à entraîner un réseau latéral pour encoder des conditions visuelles et à fusionner ses caractéristiques intermédiaires avec un réseau principal pré-entraîné et gelé, a démontré un succès remarquable dans la génération contrôlée par conditions visuelles. Malgré son adoption généralisée, le rôle de la branche latérale et son efficacité d'entraînement restent sous-explorés. Dans cet article, nous revisitons d'abord ce paradigme dominant sous l'angle de la modélisation générative basée sur les scores : 1) Le réseau principal préserve la qualité perceptuelle visuelle en fournissant un score non conditionnel a priori. 2) Le réseau latéral oriente le contrôle conditionnel en contribuant implicitement à un score de vraisemblance. Guidés par cette perspective, nous proposons LISA (Likelihood Score Alignment), une méthode de régularisation efficace qui aligne explicitement la caractéristique intermédiaire du réseau latéral avec un score de vraisemblance approximé. Plus précisément, nous extrayons d'abord les caractéristiques d'une couche désignée du réseau latéral et les projetons dans l'espace latent des scores à l'aide d'un décodeur léger. Ensuite, nous construisons une cible de score de vraisemblance approximée et calculons la distance entre la sortie du décodeur et cette cible comme perte de régularisation supplémentaire. Enfin, nous optimisons conjointement le réseau latéral et le décodeur en utilisant à la fois la perte de diffusion standard et notre perte de régularisation. Des expériences menées sur diverses tâches image/vidéo, architectures et modèles de diffusion/flux montrent que LISA peut non seulement accélérer systématiquement la convergence de l'entraînement et améliorer les résultats synthétiques finaux, mais aussi favoriser un désentrelacement accru des caractéristiques du réseau latéral pour la modélisation conditionnelle, avec un coût d'entraînement supplémentaire négligeable et un coût d'inférence supplémentaire nul.

English

The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.