SSR-Encoder : Encodage de la représentation sélective du sujet pour la génération pilotée par sujet

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

December 26, 2023

Auteurs: Yuxuan Zhang, Jiaming Liu, Yiren Song, Rui Wang, Hao Tang, Jinpeng Yu, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing

cs.AI

Résumé

Les récents progrès dans la génération d'images guidée par un sujet ont conduit à la génération zero-shot, mais la sélection précise et la focalisation sur les représentations cruciales du sujet restent des défis. Pour y remédier, nous introduisons le SSR-Encoder, une architecture novatrice conçue pour capturer de manière sélective n'importe quel sujet à partir d'une ou plusieurs images de référence. Il répond à diverses modalités de requêtes, y compris le texte et les masques, sans nécessiter de fine-tuning au moment du test. Le SSR-Encoder combine un Token-to-Patch Aligner qui aligne les entrées de requête avec les patches d'image et un Detail-Preserving Subject Encoder pour extraire et préserver les caractéristiques fines des sujets, générant ainsi des embeddings de sujet. Ces embeddings, utilisés conjointement avec les embeddings de texte originaux, conditionnent le processus de génération. Caractérisé par sa généralisabilité et son efficacité, le SSR-Encoder s'adapte à une gamme de modèles personnalisés et de modules de contrôle. Renforcé par la Embedding Consistency Regularization Loss pour un entraînement amélioré, nos expériences approfondies démontrent son efficacité dans la génération d'images polyvalentes et de haute qualité, indiquant sa large applicabilité. Page du projet : https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io