LISA: Alineación de Puntuación de Verosimilitud para Generación Controlable por Condiciones Visuales

Resumen

El paradigma prevalente de rama dual, es decir, entrenar una red lateral para codificar condiciones visuales y fusionar sus características de capas intermedias en una red principal preentrenada congelada, ha demostrado un éxito notable en la generación controlable por condiciones visuales. A pesar de su adopción generalizada, el papel de la rama lateral y su eficiencia de entrenamiento siguen siendo poco explorados. En este artículo, revisitamos primero este paradigma dominante desde la perspectiva del modelado generativo basado en scores: 1) La red principal preserva la calidad perceptual visual al proporcionar un score incondicional a priori. 2) La red lateral dirige el control condicional al contribuir implícitamente con un score de verosimilitud. Guiados por esta perspectiva, proponemos Alineamiento de Scores de Verosimilitud (LISA, por sus siglas en inglés), un método de regularización efectivo que alinea explícitamente las características intermedias de la red lateral con un score de verosimilitud aproximado. Específicamente, primero enganchamos características de una capa designada de la red lateral y las proyectamos en el espacio latente de scores mediante un decodificador ligero. Luego, construimos un objetivo de score de verosimilitud aproximado y calculamos la distancia entre la salida del decodificador y este objetivo como una pérdida de regularización adicional. Finalmente, optimizamos conjuntamente la red lateral y el decodificador tanto con la pérdida de difusión estándar como con nuestra pérdida de regularización. Experimentos en diversas tareas de imagen/video, arquitecturas y modelos de difusión/flujo demostraron que LISA no solo puede acelerar consistentemente la convergencia del entrenamiento y mejorar los resultados sintéticos finales, sino también fomentar que las características de la red lateral estén más desenredadas para el modelado condicional, con un costo de entrenamiento adicional insignificante y cero costo de inferencia adicional.

English

The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.