MultiBind: un benchmark per l'associazione errata di attributi nella generazione multi-soggetto

MultiBind: A Benchmark for Attribute Misbinding in Multi-Subject Generation

March 23, 2026

Autori: Wenqing Tian, Hanyi Mao, Zhaocheng Liu, Lihua Zhang, Qiang Liu, Jian Wu, Liang Wang

cs.AI

Abstract

La generazione di immagini guidata da soggetti è sempre più chiamata a supportare un controllo granulare su più entità all'interno di una singola immagine. Nei flussi di lavoro multi-riferimento, gli utenti possono fornire diverse immagini di soggetti, un riferimento per lo sfondo e prompt lunghi ed indicizzati per entità per controllare più persone in una singola scena. In questo contesto, una modalità di errore chiave è il *misbinding* intersoggetto degli attributi: gli attributi vengono preservati, modificati o trasferiti al soggetto sbagliato. I benchmark e le metriche esistenti enfatizzano principalmente la fedeltà olistica o l'auto-similarità per soggetto, rendendo difficile diagnosticare tali errori. Introduciamo MultiBind, un benchmark costruito a partire da fotografie reali di più persone. Ogni istanza fornisce ritagli dei soggetti ordinati per *slot* con maschere e bounding box, riferimenti canonici dei soggetti, un riferimento di sfondo inpainted e un prompt denso indicizzato per entità derivato da annotazioni strutturate. Proponiamo inoltre un protocollo di valutazione della confusione dimensionale che associa i soggetti generati agli *slot* di ground-truth e misura la similarità tra slot utilizzando specialisti per l'identità del volto, l'aspetto, la posa e l'espressione. Sottraendo le corrispondenti matrici di similarità di ground-truth, il nostro metodo separa l'auto-degradazione dalla vera interferenza intersoggetto ed espone pattern di errore interpretabili come *drift*, *swap*, *dominance* e *blending*. Esperimenti su generatori multi-riferimento moderni mostrano che MultiBind rivela errori di associazione che le metriche di ricostruzione convenzionali non colgono.

English

Subject-driven image generation is increasingly expected to support fine-grained control over multiple entities within a single image. In multi-reference workflows, users may provide several subject images, a background reference, and long, entity-indexed prompts to control multiple people within one scene. In this setting, a key failure mode is cross-subject attribute misbinding: attributes are preserved, edited, or transferred to the wrong subject. Existing benchmarks and metrics largely emphasize holistic fidelity or per-subject self-similarity, making such failures hard to diagnose. We introduce MultiBind, a benchmark built from real multi-person photographs. Each instance provides slot-ordered subject crops with masks and bounding boxes, canonicalized subject references, an inpainted background reference, and a dense entity-indexed prompt derived from structured annotations. We also propose a dimension-wise confusion evaluation protocol that matches generated subjects to ground-truth slots and measures slot-to-slot similarity using specialists for face identity, appearance, pose, and expression. By subtracting the corresponding ground-truth similarity matrices, our method separates self-degradation from true cross-subject interference and exposes interpretable failure patterns such as drift, swap, dominance, and blending. Experiments on modern multi-reference generators show that MultiBind reveals binding failures that conventional reconstruction metrics miss.