SSR-Encoder: Codifica della Rappresentazione Selettiva del Soggetto per la Generazione Guidata dal Soggetto

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

December 26, 2023

Autori: Yuxuan Zhang, Jiaming Liu, Yiren Song, Rui Wang, Hao Tang, Jinpeng Yu, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing

cs.AI

Abstract

I recenti progressi nella generazione di immagini guidata da soggetti hanno portato alla generazione zero-shot, tuttavia la selezione precisa e l'attenzione sulle rappresentazioni cruciali del soggetto rimangono sfide significative. Per affrontare questo problema, introduciamo il SSR-Encoder, una nuova architettura progettata per catturare selettivamente qualsiasi soggetto da una o più immagini di riferimento. Risponde a varie modalità di query, inclusi testi e maschere, senza necessitare di fine-tuning al momento del test. Il SSR-Encoder combina un Token-to-Patch Aligner che allinea gli input di query con le patch delle immagini e un Detail-Preserving Subject Encoder per estrarre e preservare le caratteristiche fini dei soggetti, generando così embedding di soggetto. Questi embedding, utilizzati insieme agli embedding di testo originali, condizionano il processo di generazione. Caratterizzato dalla sua generalizzabilità del modello e dall'efficienza, il SSR-Encoder si adatta a una gamma di modelli personalizzati e moduli di controllo. Potenziato dalla Embedding Consistency Regularization Loss per un addestramento migliorato, i nostri esperimenti estesi ne dimostrano l'efficacia nella generazione di immagini versatile e di alta qualità, indicandone la vasta applicabilità. Pagina del progetto: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io