SSR-Encoder: Codering van Selectieve Subjectrepresentatie voor Subject-Gestuurde Generatie

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

December 26, 2023

Auteurs: Yuxuan Zhang, Jiaming Liu, Yiren Song, Rui Wang, Hao Tang, Jinpeng Yu, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing

cs.AI

Samenvatting

Recente vooruitgang in onderwerpgestuurde beeldgeneratie heeft geleid tot zero-shot generatie, maar het nauwkeurig selecteren en focussen op cruciale onderweepsrepresentaties blijft een uitdaging. Om dit aan te pakken, introduceren we de SSR-Encoder, een nieuwe architectuur die is ontworpen om selectief elk onderwerp vast te leggen vanuit één of meerdere referentiebeelden. Het reageert op verschillende querymodaliteiten, waaronder tekst en maskers, zonder dat fine-tuning tijdens de testfase nodig is. De SSR-Encoder combineert een Token-to-Patch Aligner die query-invoer uitlijnt met beeldpatches en een Detail-Preserving Subject Encoder voor het extraheren en behouden van fijne kenmerken van de onderwerpen, waardoor onderweepsembeddings worden gegenereerd. Deze embeddings, gebruikt in combinatie met originele tekstembeddings, sturen het generatieproces aan. Gekenmerkt door zijn modelgeneraliseerbaarheid en efficiëntie, past de SSR-Encoder zich aan aan een reeks aangepaste modellen en controlemodules. Versterkt door de Embedding Consistency Regularization Loss voor verbeterde training, tonen onze uitgebreide experimenten de effectiviteit ervan aan in veelzijdige en hoogwaardige beeldgeneratie, wat wijst op de brede toepasbaarheid ervan. Projectpagina: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io