HyperDreamBooth: HyperNetworks voor Snelle Personalisatie van Tekst-naar-Beeld Modellen

HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models

July 13, 2023

Auteurs: Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Wei Wei, Tingbo Hou, Yael Pritch, Neal Wadhwa, Michael Rubinstein, Kfir Aberman

cs.AI

Samenvatting

Personalisatie is naar voren gekomen als een belangrijk aspect binnen het veld van generatieve AI, waardoor het mogelijk wordt om individuen in diverse contexten en stijlen te synthetiseren, terwijl een hoge trouw aan hun identiteit behouden blijft. Het personalisatieproces brengt echter inherente uitdagingen met zich mee op het gebied van tijd- en geheugenvereisten. Het finetunen van elk gepersonaliseerd model vereist een aanzienlijke investering in GPU-tijd, en het opslaan van een gepersonaliseerd model per onderwerp kan veeleisend zijn wat betreft opslagcapaciteit. Om deze uitdagingen te overwinnen, stellen wij HyperDreamBooth voor - een hypernetwerk dat in staat is om efficiënt een kleine set gepersonaliseerde gewichten te genereren vanuit een enkele afbeelding van een persoon. Door deze gewichten te integreren in het diffusiemodel, in combinatie met snel finetunen, kan HyperDreamBooth het gezicht van een persoon in verschillende contexten en stijlen genereren, met een hoog niveau van detail en terwijl het cruciale kennis van diverse stijlen en semantische aanpassingen van het model behouden blijft. Onze methode bereikt personalisatie van gezichten in ongeveer 20 seconden, 25x sneller dan DreamBooth en 125x sneller dan Textual Inversion, met slechts één referentieafbeelding, en met dezelfde kwaliteit en stijldiversiteit als DreamBooth. Bovendien levert onze methode een model op dat 10000x kleiner is dan een normaal DreamBooth-model. Projectpagina: https://hyperdreambooth.github.io

English

Personalization has emerged as a prominent aspect within the field of generative AI, enabling the synthesis of individuals in diverse contexts and styles, while retaining high-fidelity to their identities. However, the process of personalization presents inherent challenges in terms of time and memory requirements. Fine-tuning each personalized model needs considerable GPU time investment, and storing a personalized model per subject can be demanding in terms of storage capacity. To overcome these challenges, we propose HyperDreamBooth-a hypernetwork capable of efficiently generating a small set of personalized weights from a single image of a person. By composing these weights into the diffusion model, coupled with fast finetuning, HyperDreamBooth can generate a person's face in various contexts and styles, with high subject details while also preserving the model's crucial knowledge of diverse styles and semantic modifications. Our method achieves personalization on faces in roughly 20 seconds, 25x faster than DreamBooth and 125x faster than Textual Inversion, using as few as one reference image, with the same quality and style diversity as DreamBooth. Also our method yields a model that is 10000x smaller than a normal DreamBooth model. Project page: https://hyperdreambooth.github.io