SSR-Encoder: Kodierung selektiver Subjektdarstellungen für die subjektgesteuerte Generierung

Zusammenfassung

Jüngste Fortschritte in der subjektgesteuerten Bildgenerierung haben zur Zero-Shot-Generierung geführt, doch die präzise Auswahl und Fokussierung auf entscheidende Subjektdarstellungen bleibt eine Herausforderung. Um dies zu adressieren, führen wir den SSR-Encoder ein, eine neuartige Architektur, die darauf ausgelegt ist, selektiv jedes Subjekt aus einem oder mehreren Referenzbildern zu erfassen. Er reagiert auf verschiedene Abfragemodalitäten, einschließlich Text und Masken, ohne eine Feinabstimmung zur Testzeit zu erfordern. Der SSR-Encoder kombiniert einen Token-to-Patch-Aligner, der Abfrageeingaben mit Bildbereichen ausrichtet, und einen Detail-erhaltenden Subjekt-Encoder zur Extraktion und Bewahrung feiner Merkmale der Subjekte, wodurch Subjekt-Embeddings erzeugt werden. Diese Embeddings, in Verbindung mit ursprünglichen Text-Embeddings verwendet, steuern den Generierungsprozess. Charakterisiert durch seine Modellgeneralisierbarkeit und Effizienz, passt sich der SSR-Encoder einer Reihe von benutzerdefinierten Modellen und Kontrollmodulen an. Durch den Embedding-Konsistenz-Regularisierungsverlust für ein verbessertes Training gestärkt, zeigen unsere umfangreichen Experimente seine Wirksamkeit in der vielseitigen und hochwertigen Bildgenerierung, was auf seine breite Anwendbarkeit hinweist. Projektseite: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io

SSR-Encoder: Kodierung selektiver Subjektdarstellungen für die subjektgesteuerte Generierung

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

Zusammenfassung

Support