MultiRef: Управляемая генерация изображений с использованием нескольких визуальных референсов

MultiRef: Controllable Image Generation with Multiple Visual References

August 9, 2025

Авторы: Ruoxi Chen, Dongping Chen, Siyuan Wu, Sinan Wang, Shiyun Lang, Petr Sushko, Gaoyang Jiang, Yao Wan, Ranjay Krishna

cs.AI

Аннотация

Визуальные дизайнеры естественным образом черпают вдохновение из множества визуальных источников, комбинируя разнообразные элементы и эстетические принципы для создания произведений искусства. Однако современные фреймворки для генерации изображений в основном полагаются на единичные входные данные — текстовые запросы или отдельные эталонные изображения. В данной статье мы сосредотачиваемся на задаче управляемой генерации изображений с использованием нескольких визуальных источников. Мы представляем MultiRef-bench, строгую систему оценки, включающую 990 синтетических и 1000 реальных примеров, которые требуют интеграции визуального контента из нескольких эталонных изображений. Синтетические примеры создаются с помощью нашего механизма данных RefBlend, который включает 10 типов эталонов и 33 их комбинации. На основе RefBlend мы также создаем набор данных MultiRef, содержащий 38 тысяч высококачественных изображений, чтобы способствовать дальнейшим исследованиям. Наши эксперименты с тремя моделями, объединяющими изображения и текст (OmniGen, ACE и Show-o), и шестью агентными фреймворками (например, ChatDiT и LLM + SD) показывают, что даже передовые системы испытывают трудности с условиями на основе нескольких эталонов: лучшая модель OmniGen достигает лишь 66,6% для синтетических примеров и 79,0% для реальных случаев в среднем по сравнению с эталонным ответом. Эти результаты дают ценные направления для разработки более гибких и человеко-подобных творческих инструментов, способных эффективно интегрировать множество источников визуального вдохновения. Набор данных доступен по адресу: https://multiref.github.io/.

English

Visual designers naturally draw inspiration from multiple visual references, combining diverse elements and aesthetic principles to create artwork. However, current image generative frameworks predominantly rely on single-source inputs -- either text prompts or individual reference images. In this paper, we focus on the task of controllable image generation using multiple visual references. We introduce MultiRef-bench, a rigorous evaluation framework comprising 990 synthetic and 1,000 real-world samples that require incorporating visual content from multiple reference images. The synthetic samples are synthetically generated through our data engine RefBlend, with 10 reference types and 33 reference combinations. Based on RefBlend, we further construct a dataset MultiRef containing 38k high-quality images to facilitate further research. Our experiments across three interleaved image-text models (i.e., OmniGen, ACE, and Show-o) and six agentic frameworks (e.g., ChatDiT and LLM + SD) reveal that even state-of-the-art systems struggle with multi-reference conditioning, with the best model OmniGen achieving only 66.6% in synthetic samples and 79.0% in real-world cases on average compared to the golden answer. These findings provide valuable directions for developing more flexible and human-like creative tools that can effectively integrate multiple sources of visual inspiration. The dataset is publicly available at: https://multiref.github.io/.