AnyStory: Hacia la Personalización Unificada de un Solo y Múltiples Sujetos en la Generación de Texto a Imagen

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Autores: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Resumen

Recientemente, los modelos generativos a gran escala han demostrado capacidades sobresalientes en la generación de texto a imagen. Sin embargo, generar imágenes personalizadas de alta fidelidad con sujetos específicos sigue presentando desafíos, especialmente en casos que involucran múltiples sujetos. En este documento, proponemos AnyStory, un enfoque unificado para la generación de sujetos personalizados. AnyStory no solo logra una personalización de alta fidelidad para sujetos individuales, sino también para múltiples sujetos, sin sacrificar la fidelidad del sujeto. Específicamente, AnyStory modela el problema de personalización de sujetos de manera "codificar-y-enrutar". En el paso de codificación, AnyStory utiliza un codificador de imagen universal y potente, es decir, ReferenceNet, en conjunto con el codificador de visión CLIP para lograr una codificación de alta fidelidad de las características del sujeto. En el paso de enrutamiento, AnyStory utiliza un enrutador de sujetos consciente de la instancia desacoplado para percibir y predecir con precisión la ubicación potencial del sujeto correspondiente en el espacio latente, y guiar la inyección de condiciones del sujeto. Los detallados resultados experimentales demuestran el excelente rendimiento de nuestro método en la retención de detalles del sujeto, alineación de descripciones de texto y personalización para múltiples sujetos. La página del proyecto se encuentra en https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .