Является ли это редактирование правильным? Многомерный бенчмарк для редактирования изображений с учетом рассуждений

Аннотация

Редактирование изображений на основе диффузионных моделей достигло высокой визуальной точности при выполнении инструкций на естественном языке, однако большинство существующих систем по-прежнему действуют на уровне поверхностного следования инструкциям, не учитывая неявные контекстуальные ограничения, заложенные в реальных запросах пользователей. Это часто приводит к визуально правдоподобным, но логически несогласованным правкам. В данной работе мы представляем RE-Edit — бенчмарк для редактирования изображений с учётом логических рассуждений (reasoning-aware), который оценивает системы редактирования изображений по пяти взаимодополняющим аспектам рассуждения: физическому, экологическому, культурному, причинно-следственному и референциальному. RE-Edit содержит 1000 тщательно подобранных примеров, каждый из которых устроен так, что одной визуальной правдоподобности недостаточно, а корректное редактирование требует соблюдения неявных логических ограничений. Для поддержки детального анализа мы устанавливаем критерии оценки, согласованные с каждым аспектом, и проводим всестороннее исследование десяти моделей редактирования изображений с открытым исходным кодом и двух коммерческих моделей. Наши результаты показывают, что даже продвинутые системы часто испытывают трудности с неявными многомерными рассуждениями, несмотря на создание высококачественных визуальных результатов. Кроме того, мы представляем лёгкий базовый подход пост-редактирования, управляемый рассуждениями, в качестве первоначального исследования, иллюстрирующего, как введение явных рассуждений может помочь смягчить такие сбои независимо от модели.

English

Diffusion-based image editing has achieved strong visual fidelity under natural language instructions, yet most existing systems still operate at the level of surface instruction following, without reasoning about the implicit contextual constraints embedded in real user requests. This often leads to visually plausible but logically inconsistent edits. In this work, we introduce RE-Edit, a benchmark for REasoning-aware image Editing that evaluates image editing systems across five complementary reasoning dimensions: physical, environmental, cultural, causal, and referential. RE-Edit comprises 1,000 carefully curated samples, each designed such that visual plausibility alone is insufficient and correct editing requires satisfying implicit logical constraints. To support fine-grained analysis, we establish dimension-aligned evaluation criteria and conduct a comprehensive study of ten open-source and two commercial image editing models. Our results show that even advanced systems frequently struggle with implicit multi-dimensional reasoning despite producing high-quality visuals. We further present a lightweight reasoning-guided post-edit baseline as an initial exploration, illustrating how inserting explicit reasoning can help mitigate such failures in a model-agnostic manner.