LISA: Likelihood-Score-Ausrichtung für visuell bedingte steuerbare Generierung

Zusammenfassung

Das vorherrschende duale Zweig-Paradigma, bei dem ein Seitennetzwerk trainiert wird, um visuelle Bedingungen zu kodieren, und dessen Merkmale aus Zwischenschichten in ein eingefrorenes vortrainiertes Hauptnetzwerk fusioniert werden, hat bemerkenswerte Erfolge bei der visuell konditionierten generativen Steuerung erzielt. Trotz seiner weiten Verbreitung sind die Rolle des Seitenzweigs und seine Trainingseffizienz weiterhin unzureichend erforscht. In dieser Arbeit betrachten wir dieses vorherrschende Paradigma zunächst durch die Linse des score-basierten generativen Modellierens: 1) Das Hauptnetzwerk bewahrt die visuelle Wahrnehmungsqualität, indem es einen prior unbedingten Score bereitstellt. 2) Das Seitennetzwerk lenkt die konditionierte Steuerung, indem es implizit einen Likelihood-Score beisteuert. Geleitet von dieser Perspektive schlagen wir Likelihood-Score-Ausrichtung (LISA) vor, eine effektive Regularisierungsmethode, die die Zwischenmerkmale des Seitennetzwerks explizit mit einem approximierten Likelihood-Score abgleicht. Konkret extrahieren wir zunächst Merkmale aus einer bestimmten Schicht des Seitennetzwerks und projizieren sie mittels eines leichten Dekoders in den Score-Latenzraum. Anschließend konstruieren wir ein approximiertes Likelihood-Score-Ziel und berechnen den Abstand zwischen der Ausgabe des Dekoders und diesem Ziel als zusätzlichen Regularisierungsverlust. Schließlich optimieren wir das Seitennetzwerk und den Dekoder gemeinsam sowohl mit dem Standard-Diffusionsverlust als auch mit unserem Regularisierungsverlust. Experimente in verschiedenen Bild-/Videoaufgaben, Architekturen und Diffusions-/Flussmodellen zeigen, dass LISA nicht nur die Trainingskonvergenz konsistent beschleunigt und die endgültigen synthetischen Ergebnisse verbessert, sondern auch die Merkmale des Seitennetzwerks für die konditionierte Modellierung stärker entkoppelt – bei vernachlässigbaren zusätzlichen Trainingskosten und null zusätzlichen Inferenzkosten.

English

The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.