UMO: Масштабирование согласованности множественных идентичностей для настройки изображений с использованием сопоставления вознаграждения

UMO: Scaling Multi-Identity Consistency for Image Customization via Matching Reward

September 8, 2025

Авторы: Yufeng Cheng, Wenxu Wu, Shaojin Wu, Mengqi Huang, Fei Ding, Qian He

cs.AI

Аннотация

Последние достижения в области настройки изображений демонстрируют широкие перспективы применения благодаря усиленным возможностям персонализации. Однако, поскольку люди более чувствительны к лицам, сохраняется значительная проблема в поддержании согласованности идентичности при избежании путаницы с использованием множественных референсных изображений, что ограничивает масштабируемость идентичности в моделях персонализации. Для решения этой проблемы мы представляем UMO — унифицированную структуру оптимизации для множественных идентичностей, разработанную для сохранения высокой точности идентичности и снижения путаницы с масштабируемостью. Используя парадигму "многокритериального сопоставления", UMO переформулирует генерацию множественных идентичностей как задачу глобальной оптимизации назначения и раскрывает согласованность множественных идентичностей для существующих методов настройки изображений в целом через обучение с подкреплением на моделях диффузии. Для облегчения обучения UMO мы разработали масштабируемый набор данных для персонализации с множественными референсными изображениями, состоящий как из синтезированных, так и из реальных частей. Кроме того, мы предлагаем новую метрику для измерения путаницы идентичностей. Многочисленные эксперименты демонстрируют, что UMO не только значительно улучшает согласованность идентичностей, но и снижает путаницу в нескольких методах настройки изображений, устанавливая новый эталон среди открытых методов в измерении сохранения идентичности. Код и модель: https://github.com/bytedance/UMO.

English

Recent advancements in image customization exhibit a wide range of application prospects due to stronger customization capabilities. However, since we humans are more sensitive to faces, a significant challenge remains in preserving consistent identity while avoiding identity confusion with multi-reference images, limiting the identity scalability of customization models. To address this, we present UMO, a Unified Multi-identity Optimization framework, designed to maintain high-fidelity identity preservation and alleviate identity confusion with scalability. With "multi-to-multi matching" paradigm, UMO reformulates multi-identity generation as a global assignment optimization problem and unleashes multi-identity consistency for existing image customization methods generally through reinforcement learning on diffusion models. To facilitate the training of UMO, we develop a scalable customization dataset with multi-reference images, consisting of both synthesised and real parts. Additionally, we propose a new metric to measure identity confusion. Extensive experiments demonstrate that UMO not only improves identity consistency significantly, but also reduces identity confusion on several image customization methods, setting a new state-of-the-art among open-source methods along the dimension of identity preserving. Code and model: https://github.com/bytedance/UMO