SSR-Encoder: Codificação de Representação Seletiva do Assunto para Geração Orientada por Assunto

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

December 26, 2023

Autores: Yuxuan Zhang, Jiaming Liu, Yiren Song, Rui Wang, Hao Tang, Jinpeng Yu, Huaxia Li, Xu Tang, Yao Hu, Han Pan, Zhongliang Jing

cs.AI

Resumo

Os recentes avanços na geração de imagens orientadas por objetos levaram à geração zero-shot, mas a seleção precisa e o foco em representações cruciais dos objetos ainda são desafios. Para abordar isso, introduzimos o SSR-Encoder, uma nova arquitetura projetada para capturar seletivamente qualquer objeto a partir de uma ou várias imagens de referência. Ele responde a várias modalidades de consulta, incluindo texto e máscaras, sem a necessidade de ajuste fino em tempo de teste. O SSR-Encoder combina um Alinhador de Token-para-Patch, que alinha as entradas de consulta com os patches de imagem, e um Codificador de Objetos com Preservação de Detalhes para extrair e preservar características refinadas dos objetos, gerando assim embeddings de objetos. Esses embeddings, usados em conjunto com embeddings de texto originais, condicionam o processo de geração. Caracterizado por sua generalizabilidade e eficiência, o SSR-Encoder se adapta a uma variedade de modelos personalizados e módulos de controle. Aprimorado pela Perda de Regularização de Consistência de Embeddings para melhorar o treinamento, nossos extensos experimentos demonstram sua eficácia na geração versátil e de alta qualidade de imagens, indicando sua ampla aplicabilidade. Página do projeto: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io