セマンティカ：画像条件付き拡散モデルの適応性

Semantica: An Adaptable Image-Conditioned Diffusion Model

May 23, 2024

著者: Manoj Kumar, Neil Houlsby, Emiel Hoogeboom

cs.AI

要旨

本研究では、ファインチューニングを行わずに画像生成モデルを異なるデータセットに適応させるタスクを調査する。そのために、条件付け画像のセマンティクスに基づいて画像を生成可能な、画像条件付き拡散モデル「Semantica」を提案する。Semanticaは、ウェブスケールの画像ペアのみで学習され、ウェブページからランダムに選ばれた画像を条件付け入力として受け取り、同じウェブページから選ばれた別のランダムな画像をモデル化する。実験結果は、事前学習済み画像エンコーダの表現力と、高品質な画像生成を実現するためのセマンティクスベースのデータフィルタリングの必要性を明らかにする。一度学習されると、Semanticaは、単にそのデータセットの画像を入力として使用することで、新しい画像を適応的に生成することができる。我々は、ImageNet、LSUN Churches、LSUN Bedroom、およびSUN397におけるSemanticaの転移特性を調査する。

English

We investigate the task of adapting image generative models to different datasets without finetuneing. To this end, we introduce Semantica, an image-conditioned diffusion model capable of generating images based on the semantics of a conditioning image. Semantica is trained exclusively on web-scale image pairs, that is it receives a random image from a webpage as conditional input and models another random image from the same webpage. Our experiments highlight the expressivity of pretrained image encoders and necessity of semantic-based data filtering in achieving high-quality image generation. Once trained, it can adaptively generate new images from a dataset by simply using images from that dataset as input. We study the transfer properties of Semantica on ImageNet, LSUN Churches, LSUN Bedroom and SUN397.