LISA: Alinhamento de Pontuação de Verossimilhança para Geração Controlável por Condição Visual

Resumo

O paradigma prevalente de ramificação dupla, ou seja, treinar uma rede lateral para codificar condições visuais e fundir suas características de camadas intermediárias a uma rede principal pré-treinada congelada, tem demonstrado notável sucesso na geração controlável por condições visuais. Apesar de sua adoção generalizada, o papel do ramo lateral e sua eficiência de treinamento ainda são pouco explorados. Neste artigo, revisamos primeiro esse paradigma dominante sob a perspectiva da modelagem generativa baseada em scores: 1) A rede principal preserva a qualidade perceptual visual ao fornecer um score incondicional prévio. 2) A rede lateral orienta o controle condicional ao contribuir implicitamente com um score de verossimilhança. Guiados por essa perspectiva, propomos o Alinhamento de Score de Verossimilhança (LISA, na sigla em inglês), um método de regularização eficaz que alinha explicitamente a característica intermediária da rede lateral a um score de verossimilhança aproximado. Especificamente, primeiro capturamos características de uma camada designada da rede lateral e as projetamos no espaço latente de scores por meio de um decodificador leve. Em seguida, construímos um alvo de score de verossimilhança aproximado e calculamos a distância entre a saída do decodificador e esse alvo como uma perda de regularização adicional. Por fim, otimizamos conjuntamente a rede lateral e o decodificador com a perda de difusão padrão e nossa perda de regularização. Experimentos em diversas tarefas de imagem/vídeo, arquiteturas e modelos de difusão/fluxo demonstraram que o LISA não só acelera consistentemente a convergência do treinamento e melhora os resultados sintéticos finais, mas também incentiva que as características da rede lateral sejam mais desembaraçadas para modelagem condicional, com custo adicional de treinamento insignificante e custo extra de inferência zero.

English

The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.