MultiRef: Generazione Controllata di Immagini con Riferimenti Visivi Multipli

MultiRef: Controllable Image Generation with Multiple Visual References

August 9, 2025

Autori: Ruoxi Chen, Dongping Chen, Siyuan Wu, Sinan Wang, Shiyun Lang, Petr Sushko, Gaoyang Jiang, Yao Wan, Ranjay Krishna

cs.AI

Abstract

I designer visivi traggono naturalmente ispirazione da molteplici riferimenti visivi, combinando elementi diversi e principi estetici per creare opere d'arte. Tuttavia, gli attuali framework di generazione di immagini si basano principalmente su input provenienti da una singola fonte, siano essi prompt testuali o immagini di riferimento individuali. In questo articolo, ci concentriamo sul compito di generazione controllata di immagini utilizzando più riferimenti visivi. Introduciamo MultiRef-bench, un rigoroso framework di valutazione composto da 990 campioni sintetici e 1.000 campioni reali che richiedono l'incorporazione di contenuti visivi da più immagini di riferimento. I campioni sintetici sono generati sinteticamente attraverso il nostro motore di dati RefBlend, con 10 tipi di riferimento e 33 combinazioni di riferimento. Basandoci su RefBlend, abbiamo ulteriormente costruito un dataset chiamato MultiRef contenente 38k immagini di alta qualità per facilitare ulteriori ricerche. I nostri esperimenti su tre modelli interconnessi immagine-testo (ovvero OmniGen, ACE e Show-o) e sei framework agentici (ad esempio, ChatDiT e LLM + SD) rivelano che anche i sistemi più avanzati faticano a gestire il condizionamento multi-riferimento, con il miglior modello, OmniGen, che raggiunge solo il 66,6% nei campioni sintetici e il 79,0% nei casi reali in media rispetto alla risposta ideale. Questi risultati forniscono indicazioni preziose per lo sviluppo di strumenti creativi più flessibili e simili a quelli umani, in grado di integrare efficacemente più fonti di ispirazione visiva. Il dataset è disponibile pubblicamente all'indirizzo: https://multiref.github.io/.

English

Visual designers naturally draw inspiration from multiple visual references, combining diverse elements and aesthetic principles to create artwork. However, current image generative frameworks predominantly rely on single-source inputs -- either text prompts or individual reference images. In this paper, we focus on the task of controllable image generation using multiple visual references. We introduce MultiRef-bench, a rigorous evaluation framework comprising 990 synthetic and 1,000 real-world samples that require incorporating visual content from multiple reference images. The synthetic samples are synthetically generated through our data engine RefBlend, with 10 reference types and 33 reference combinations. Based on RefBlend, we further construct a dataset MultiRef containing 38k high-quality images to facilitate further research. Our experiments across three interleaved image-text models (i.e., OmniGen, ACE, and Show-o) and six agentic frameworks (e.g., ChatDiT and LLM + SD) reveal that even state-of-the-art systems struggle with multi-reference conditioning, with the best model OmniGen achieving only 66.6% in synthetic samples and 79.0% in real-world cases on average compared to the golden answer. These findings provide valuable directions for developing more flexible and human-like creative tools that can effectively integrate multiple sources of visual inspiration. The dataset is publicly available at: https://multiref.github.io/.