SSR-Encoder: Codificación de Representación Selectiva del Sujeto para Generación Guiada por el Sujeto

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

December 26, 2023

Autores: Yuxuan Zhang, Jiaming Liu, Yiren Song, Rui Wang, Hao Tang, Jinpeng Yu, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing

cs.AI

Resumen

Los recientes avances en la generación de imágenes basadas en sujetos han permitido la generación en modo zero-shot, aunque la selección precisa y el enfoque en las representaciones cruciales del sujeto siguen siendo desafiantes. Para abordar esto, presentamos el SSR-Encoder, una arquitectura novedosa diseñada para capturar selectivamente cualquier sujeto a partir de una o múltiples imágenes de referencia. Responde a diversas modalidades de consulta, incluyendo texto y máscaras, sin requerir ajustes en tiempo de prueba. El SSR-Encoder combina un Alineador de Token-a-Parche que alinea las entradas de consulta con los parches de imagen y un Codificador de Sujetos que Preserva Detalles para extraer y preservar las características finas de los sujetos, generando así incrustaciones de sujetos. Estas incrustaciones, utilizadas junto con las incrustaciones de texto originales, condicionan el proceso de generación. Caracterizado por su generalización de modelo y eficiencia, el SSR-Encoder se adapta a una variedad de modelos personalizados y módulos de control. Potenciado por la Pérdida de Regularización de Consistencia de Incrustaciones para mejorar el entrenamiento, nuestros extensos experimentos demuestran su efectividad en la generación versátil y de alta calidad de imágenes, indicando su amplia aplicabilidad. Página del proyecto: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io