HyperDreamBooth: テキストから画像生成モデルの高速パーソナライゼーションのためのハイパーネットワーク
HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
July 13, 2023
著者: Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Wei Wei, Tingbo Hou, Yael Pritch, Neal Wadhwa, Michael Rubinstein, Kfir Aberman
cs.AI
要旨
パーソナライゼーションは、生成AI分野において重要な側面として浮上しており、個人のアイデンティティを高忠実度で維持しながら、多様な文脈やスタイルでの合成を可能にしています。しかし、パーソナライゼーションのプロセスには、時間とメモリ要件の面で固有の課題があります。各パーソナライズモデルのファインチューニングには相当なGPU時間の投資が必要であり、被写体ごとにパーソナライズモデルを保存するにはストレージ容量が要求されます。これらの課題を克服するため、我々はHyperDreamBoothを提案します。これは、単一の人物画像から効率的に少量のパーソナライズされた重みを生成できるハイパーネットワークです。これらの重みを拡散モデルに組み込み、高速なファインチューニングと組み合わせることで、HyperDreamBoothは、人物の顔を多様な文脈やスタイルで生成し、高い被写体の詳細を維持しながら、モデルの多様なスタイルや意味的変更に関する重要な知識も保持します。我々の手法は、約20秒で顔のパーソナライゼーションを達成し、DreamBoothの25倍、Textual Inversionの125倍の速度で、DreamBoothと同等の品質とスタイルの多様性を維持しながら、わずか1枚の参照画像を使用します。また、我々の手法は、通常のDreamBoothモデルよりも10000倍小さいモデルを生成します。プロジェクトページ: https://hyperdreambooth.github.io
English
Personalization has emerged as a prominent aspect within the field of
generative AI, enabling the synthesis of individuals in diverse contexts and
styles, while retaining high-fidelity to their identities. However, the process
of personalization presents inherent challenges in terms of time and memory
requirements. Fine-tuning each personalized model needs considerable GPU time
investment, and storing a personalized model per subject can be demanding in
terms of storage capacity. To overcome these challenges, we propose
HyperDreamBooth-a hypernetwork capable of efficiently generating a small set of
personalized weights from a single image of a person. By composing these
weights into the diffusion model, coupled with fast finetuning, HyperDreamBooth
can generate a person's face in various contexts and styles, with high subject
details while also preserving the model's crucial knowledge of diverse styles
and semantic modifications. Our method achieves personalization on faces in
roughly 20 seconds, 25x faster than DreamBooth and 125x faster than Textual
Inversion, using as few as one reference image, with the same quality and style
diversity as DreamBooth. Also our method yields a model that is 10000x smaller
than a normal DreamBooth model. Project page: https://hyperdreambooth.github.io