MultiRef: 複数の視覚的参照を用いた制御可能な画像生成

MultiRef: Controllable Image Generation with Multiple Visual References

August 9, 2025

著者: Ruoxi Chen, Dongping Chen, Siyuan Wu, Sinan Wang, Shiyun Lang, Petr Sushko, Gaoyang Jiang, Yao Wan, Ranjay Krishna

cs.AI

要旨

ビジュアルデザイナーは自然と複数の視覚的参照からインスピレーションを得て、多様な要素と美的原則を組み合わせてアートワークを作成します。しかし、現在の画像生成フレームワークは主に単一ソースの入力（テキストプロンプトまたは個別の参照画像）に依存しています。本論文では、複数の視覚的参照を用いた制御可能な画像生成タスクに焦点を当てます。我々は、複数の参照画像から視覚的コンテンツを取り入れる必要がある990の合成サンプルと1,000の実世界サンプルからなる厳密な評価フレームワーク「MultiRef-bench」を紹介します。合成サンプルは、10の参照タイプと33の参照組み合わせを持つデータエンジン「RefBlend」を通じて生成されます。RefBlendに基づき、さらなる研究を促進するために38kの高品質画像を含むデータセット「MultiRef」を構築しました。3つのインターレーブド画像-テキストモデル（OmniGen、ACE、Show-o）と6つのエージェントフレームワーク（ChatDiT、LLM + SDなど）を用いた実験では、最先端のシステムでさえも複数参照の条件付けに苦戦し、最良のモデルであるOmniGenでさえ、合成サンプルでは66.6%、実世界のケースでは79.0%の平均スコアしか達成できませんでした。これらの発見は、複数の視覚的インスピレーション源を効果的に統合できる、より柔軟で人間らしい創造的ツールの開発に向けた貴重な方向性を提供します。データセットはhttps://multiref.github.io/で公開されています。

English

Visual designers naturally draw inspiration from multiple visual references, combining diverse elements and aesthetic principles to create artwork. However, current image generative frameworks predominantly rely on single-source inputs -- either text prompts or individual reference images. In this paper, we focus on the task of controllable image generation using multiple visual references. We introduce MultiRef-bench, a rigorous evaluation framework comprising 990 synthetic and 1,000 real-world samples that require incorporating visual content from multiple reference images. The synthetic samples are synthetically generated through our data engine RefBlend, with 10 reference types and 33 reference combinations. Based on RefBlend, we further construct a dataset MultiRef containing 38k high-quality images to facilitate further research. Our experiments across three interleaved image-text models (i.e., OmniGen, ACE, and Show-o) and six agentic frameworks (e.g., ChatDiT and LLM + SD) reveal that even state-of-the-art systems struggle with multi-reference conditioning, with the best model OmniGen achieving only 66.6% in synthetic samples and 79.0% in real-world cases on average compared to the golden answer. These findings provide valuable directions for developing more flexible and human-like creative tools that can effectively integrate multiple sources of visual inspiration. The dataset is publicly available at: https://multiref.github.io/.