MultiRef: Generación de imágenes controlables con múltiples referencias visuales

MultiRef: Controllable Image Generation with Multiple Visual References

August 9, 2025

Autores: Ruoxi Chen, Dongping Chen, Siyuan Wu, Sinan Wang, Shiyun Lang, Petr Sushko, Gaoyang Jiang, Yao Wan, Ranjay Krishna

cs.AI

Resumen

Los diseñadores visuales naturalmente obtienen inspiración de múltiples referencias visuales, combinando diversos elementos y principios estéticos para crear obras de arte. Sin embargo, los marcos actuales de generación de imágenes dependen predominantemente de entradas de una sola fuente, ya sea indicaciones de texto o imágenes de referencia individuales. En este artículo, nos centramos en la tarea de generación de imágenes controlable utilizando múltiples referencias visuales. Introducimos MultiRef-bench, un marco de evaluación riguroso que comprende 990 muestras sintéticas y 1,000 muestras del mundo real que requieren incorporar contenido visual de múltiples imágenes de referencia. Las muestras sintéticas se generan sintéticamente a través de nuestro motor de datos RefBlend, con 10 tipos de referencia y 33 combinaciones de referencias. Basándonos en RefBlend, construimos además un conjunto de datos MultiRef que contiene 38k imágenes de alta calidad para facilitar investigaciones futuras. Nuestros experimentos en tres modelos intercalados de imagen-texto (es decir, OmniGen, ACE y Show-o) y seis marcos agentes (por ejemplo, ChatDiT y LLM + SD) revelan que incluso los sistemas más avanzados tienen dificultades con el condicionamiento de múltiples referencias, con el mejor modelo, OmniGen, logrando solo un 66.6% en muestras sintéticas y un 79.0% en casos del mundo real en promedio en comparación con la respuesta ideal. Estos hallazgos proporcionan direcciones valiosas para desarrollar herramientas creativas más flexibles y similares a las humanas que puedan integrar efectivamente múltiples fuentes de inspiración visual. El conjunto de datos está disponible públicamente en: https://multiref.github.io/.

English

Visual designers naturally draw inspiration from multiple visual references, combining diverse elements and aesthetic principles to create artwork. However, current image generative frameworks predominantly rely on single-source inputs -- either text prompts or individual reference images. In this paper, we focus on the task of controllable image generation using multiple visual references. We introduce MultiRef-bench, a rigorous evaluation framework comprising 990 synthetic and 1,000 real-world samples that require incorporating visual content from multiple reference images. The synthetic samples are synthetically generated through our data engine RefBlend, with 10 reference types and 33 reference combinations. Based on RefBlend, we further construct a dataset MultiRef containing 38k high-quality images to facilitate further research. Our experiments across three interleaved image-text models (i.e., OmniGen, ACE, and Show-o) and six agentic frameworks (e.g., ChatDiT and LLM + SD) reveal that even state-of-the-art systems struggle with multi-reference conditioning, with the best model OmniGen achieving only 66.6% in synthetic samples and 79.0% in real-world cases on average compared to the golden answer. These findings provide valuable directions for developing more flexible and human-like creative tools that can effectively integrate multiple sources of visual inspiration. The dataset is publicly available at: https://multiref.github.io/.