Collaboratieve Score Distillatie voor Consistente Visuele Synthese

Collaborative Score Distillation for Consistent Visual Synthesis

July 4, 2023

Auteurs: Subin Kim, Kyungmin Lee, June Suk Choi, Jongheon Jeong, Kihyuk Sohn, Jinwoo Shin

cs.AI

Samenvatting

Generatieve prioriteiten van grootschalige tekst-naar-beeld diffusiemodellen maken een breed scala aan nieuwe generatie- en bewerkingsapplicaties mogelijk voor diverse visuele modaliteiten. Wanneer deze prioriteiten echter worden toegepast op complexe visuele modaliteiten, vaak weergegeven als meerdere afbeeldingen (bijvoorbeeld video), is het bereiken van consistentie over een reeks afbeeldingen een uitdaging. In dit artikel pakken we deze uitdaging aan met een nieuwe methode, Collaborative Score Distillation (CSD). CSD is gebaseerd op Stein Variational Gradient Descent (SVGD). Specifiek stellen we voor om meerdere samples als "deeltjes" te beschouwen in de SVGD-update en hun scorefuncties te combineren om generatieve prioriteiten synchroon te destilleren over een reeks afbeeldingen. Hierdoor vergemakkelijkt CSD een naadloze integratie van informatie over 2D-afbeeldingen, wat leidt tot een consistente visuele synthese over meerdere samples. We tonen de effectiviteit van CSD in een verscheidenheid aan taken, waaronder het visueel bewerken van panorama-afbeeldingen, video's en 3D-scènes. Onze resultaten onderstrepen de competentie van CSD als een veelzijdige methode voor het verbeteren van inter-sample consistentie, waardoor de toepasbaarheid van tekst-naar-beeld diffusiemodellen wordt verbreed.

English

Generative priors of large-scale text-to-image diffusion models enable a wide range of new generation and editing applications on diverse visual modalities. However, when adapting these priors to complex visual modalities, often represented as multiple images (e.g., video), achieving consistency across a set of images is challenging. In this paper, we address this challenge with a novel method, Collaborative Score Distillation (CSD). CSD is based on the Stein Variational Gradient Descent (SVGD). Specifically, we propose to consider multiple samples as "particles" in the SVGD update and combine their score functions to distill generative priors over a set of images synchronously. Thus, CSD facilitates seamless integration of information across 2D images, leading to a consistent visual synthesis across multiple samples. We show the effectiveness of CSD in a variety of tasks, encompassing the visual editing of panorama images, videos, and 3D scenes. Our results underline the competency of CSD as a versatile method for enhancing inter-sample consistency, thereby broadening the applicability of text-to-image diffusion models.