UMO: Escalonando a Consistência de Múltiplas Identidades para Personalização de Imagens via Recompensa de Correspondência

UMO: Scaling Multi-Identity Consistency for Image Customization via Matching Reward

September 8, 2025

Autores: Yufeng Cheng, Wenxu Wu, Shaojin Wu, Mengqi Huang, Fei Ding, Qian He

cs.AI

Resumo

Os recentes avanços na personalização de imagens exibem uma ampla gama de perspectivas de aplicação devido a capacidades de personalização mais robustas. No entanto, como nós, seres humanos, somos mais sensíveis a rostos, um desafio significativo permanece na preservação de uma identidade consistente, evitando a confusão de identidade com imagens de múltiplas referências, o que limita a escalabilidade de identidade dos modelos de personalização. Para abordar isso, apresentamos o UMO, uma estrutura de Otimização Unificada de Multi-identidades, projetada para manter uma preservação de identidade de alta fidelidade e aliviar a confusão de identidade com escalabilidade. Com o paradigma de "correspondência múltipla para múltipla", o UMO reformula a geração de multi-identidades como um problema de otimização de atribuição global e libera a consistência de multi-identidades para métodos existentes de personalização de imagens de forma geral por meio de aprendizado por reforço em modelos de difusão. Para facilitar o treinamento do UMO, desenvolvemos um conjunto de dados de personalização escalável com imagens de múltiplas referências, consistindo em partes sintetizadas e reais. Além disso, propomos uma nova métrica para medir a confusão de identidade. Experimentos extensivos demonstram que o UMO não apenas melhora significativamente a consistência de identidade, mas também reduz a confusão de identidade em vários métodos de personalização de imagens, estabelecendo um novo estado da arte entre os métodos de código aberto na dimensão de preservação de identidade. Código e modelo: https://github.com/bytedance/UMO

English

Recent advancements in image customization exhibit a wide range of application prospects due to stronger customization capabilities. However, since we humans are more sensitive to faces, a significant challenge remains in preserving consistent identity while avoiding identity confusion with multi-reference images, limiting the identity scalability of customization models. To address this, we present UMO, a Unified Multi-identity Optimization framework, designed to maintain high-fidelity identity preservation and alleviate identity confusion with scalability. With "multi-to-multi matching" paradigm, UMO reformulates multi-identity generation as a global assignment optimization problem and unleashes multi-identity consistency for existing image customization methods generally through reinforcement learning on diffusion models. To facilitate the training of UMO, we develop a scalable customization dataset with multi-reference images, consisting of both synthesised and real parts. Additionally, we propose a new metric to measure identity confusion. Extensive experiments demonstrate that UMO not only improves identity consistency significantly, but also reduces identity confusion on several image customization methods, setting a new state-of-the-art among open-source methods along the dimension of identity preserving. Code and model: https://github.com/bytedance/UMO