MultiBind: Бенчмарк для оценки ошибочного связывания атрибутов при генерации изображений с несколькими объектами

MultiBind: A Benchmark for Attribute Misbinding in Multi-Subject Generation

March 23, 2026

Авторы: Wenqing Tian, Hanyi Mao, Zhaocheng Liu, Lihua Zhang, Qiang Liu, Jian Wu, Liang Wang

cs.AI

Аннотация

Генерация изображений на основе объектов всё чаще предполагает возможность тонкого управления несколькими сущностями в рамках одного изображения. В рабочих процессах с множественными референсами пользователи могут предоставлять несколько изображений объектов, референс фона и длинные промпты с индексацией по сущностям для управления несколькими людьми в одной сцене. В этом сценарии ключевым типом ошибок является ошибочное присвоение атрибутов между объектами: атрибуты сохраняются, редактируются или переносятся на неправильный объект. Существующие бенчмарки и метрики в основном делают акцент на целостной точности или самоподобии отдельных объектов, что затрудняет диагностику таких ошибок. Мы представляем MultiBind — бенчмарк, созданный на основе реальных фотографий с несколькими людьми. Каждый экземпляр предоставляет обрезанные изображения объектов с масками и ограничивающими рамками в порядке слотов, канонизированные референсы объектов, инпаинтеный референс фона и плотный промпт с индексацией по сущностям, полученный из структурированных аннотаций. Мы также предлагаем протокол оценки по размерностям с перепутыванием, который сопоставляет сгенерированные объекты с истинными слотами и измеряет межслотовое сходство с использованием специализированных моделей для идентификации лиц, внешности, позы и эмоций. Вычитая соответствующие матрицы сходства для исходных данных, наш метод отделяет самоухудшение качества от истинной интерференции между объектами и выявляет интерпретируемые паттерны ошибок, такие как дрейф, обмен, доминирование и смешение. Эксперименты с современными генераторами для множественных референсов показывают, что MultiBind выявляет ошибки связывания, которые остаются незамеченными при использовании традиционных метрик реконструкции.

English

Subject-driven image generation is increasingly expected to support fine-grained control over multiple entities within a single image. In multi-reference workflows, users may provide several subject images, a background reference, and long, entity-indexed prompts to control multiple people within one scene. In this setting, a key failure mode is cross-subject attribute misbinding: attributes are preserved, edited, or transferred to the wrong subject. Existing benchmarks and metrics largely emphasize holistic fidelity or per-subject self-similarity, making such failures hard to diagnose. We introduce MultiBind, a benchmark built from real multi-person photographs. Each instance provides slot-ordered subject crops with masks and bounding boxes, canonicalized subject references, an inpainted background reference, and a dense entity-indexed prompt derived from structured annotations. We also propose a dimension-wise confusion evaluation protocol that matches generated subjects to ground-truth slots and measures slot-to-slot similarity using specialists for face identity, appearance, pose, and expression. By subtracting the corresponding ground-truth similarity matrices, our method separates self-degradation from true cross-subject interference and exposes interpretable failure patterns such as drift, swap, dominance, and blending. Experiments on modern multi-reference generators show that MultiBind reveals binding failures that conventional reconstruction metrics miss.