一貫したマルチ参照画像編集のための評価-検証報酬

要旨

近年の画像編集モデルは急速な進歩を遂げているが、複数参照編集は依然として困難であり、特に参照間の視覚的一貫性の維持と、全体としての視覚的調和の確保が課題となっている。強化学習は、テキストから画像への生成や単一画像編集において高い効果が実証されているが、複数画像間の関係的制約を捉える適切な報酬モデルが存在しないため、複数参照編集への拡張は妨げられている。さらに、マルチモーダル大規模言語モデル（MLLM）をゼロショット評価器として単純に用いる場合、幻覚を起こしやすい長文推論と、短形式の判断における限定的な演繹力との間の重要な緊張関係に直面する。我々は、これらの問題に対して多次元評価・検証報酬（EVR）を用いて対処する。EVRは評価を明確な視覚的基準に分解し、各基準についてMLLM評価器が複数の候補仮説を生成する。検証器は各主張を具体的な視覚的証拠に基づいて検証し、受け入れるか拒否することで、信頼性が高くきめ細かな報酬信号を生成する。本手法は、スケーラブルなデータパイプラインと組み合わせることで、アーキテクチャを変更することなく、既製の編集モデルの強化学習による微調整を可能にする。広範な実験により、ベースとなるQwen-Image-Editと比較して大幅な向上が示され、一貫性と調和が改善されてNanoBananaに匹敵するかそれを上回ることを実証する。

English

While recent image editing models have made rapid progress, multi-reference editing remains challenging, particularly in maintaining visual consistency across references and ensuring overall visual harmony. Reinforcement learning has proven highly effective for text-to-image generation and single-image editing, but its extension to multi-reference editing is hindered by the absence of suitable reward models that capture multi-image relational constraints. Moreover, naively using multimodal large language models(MLLMs) as zero-shot evaluators faces a key tension between hallucination-prone long-form reasoning and the limited deductive power of short-form judgments. We address these issues with a Multi-dimensional Evaluation-Verification Reward(EVR). EVR decomposes evaluation into distinct visual criteria; for each criterion, an MLLM Evaluator generates multiple candidate hypotheses, and a Verifier grounds each claim in concrete visual evidence to accept or reject it, producing reliable and fine-grained reward signals. Together with a scalable data pipeline, our method enables RL fine-tuning of off-the-shelf editors without architectural changes. Extensive experiments show substantial gains over the base Qwen-Image-Edit, improving consistency and harmony to match or surpass NanoBanana.