Cette édition est-elle correcte ? Un benchmark multidimensionnel pour l'édition d'images consciente du raisonnement

Résumé

L'édition d'images basée sur la diffusion a atteint une forte fidélité visuelle sous instructions en langage naturel, mais la plupart des systèmes existants fonctionnent encore au niveau d'un suivi superficiel des instructions, sans raisonner sur les contraintes contextuelles implicites intégrées dans les demandes réelles des utilisateurs. Cela conduit souvent à des modifications visuellement plausibles mais logiquement incohérentes. Dans ce travail, nous présentons RE-Edit, un benchmark pour l'édition d'images tenant compte du raisonnement, qui évalue les systèmes d'édition d'images selon cinq dimensions de raisonnement complémentaires : physique, environnementale, culturelle, causale et référentielle. RE-Edit comprend 1 000 échantillons soigneusement sélectionnés, chacun conçu de sorte que la seule plausibilité visuelle soit insuffisante et qu'une édition correcte nécessite de satisfaire des contraintes logiques implicites. Pour soutenir une analyse fine, nous établissons des critères d'évaluation alignés sur les dimensions et réalisons une étude exhaustive de dix modèles d'édition d'images open source et deux modèles commerciaux. Nos résultats montrent que même les systèmes avancés peinent souvent avec le raisonnement multidimensionnel implicite, malgré une production d'images de haute qualité. Nous présentons en outre une baseline légère de post-édition guidée par le raisonnement comme exploration initiale, illustrant comment l'insertion d'un raisonnement explicite peut aider à atténuer ces échecs de manière indépendante du modèle.

English

Diffusion-based image editing has achieved strong visual fidelity under natural language instructions, yet most existing systems still operate at the level of surface instruction following, without reasoning about the implicit contextual constraints embedded in real user requests. This often leads to visually plausible but logically inconsistent edits. In this work, we introduce RE-Edit, a benchmark for REasoning-aware image Editing that evaluates image editing systems across five complementary reasoning dimensions: physical, environmental, cultural, causal, and referential. RE-Edit comprises 1,000 carefully curated samples, each designed such that visual plausibility alone is insufficient and correct editing requires satisfying implicit logical constraints. To support fine-grained analysis, we establish dimension-aligned evaluation criteria and conduct a comprehensive study of ten open-source and two commercial image editing models. Our results show that even advanced systems frequently struggle with implicit multi-dimensional reasoning despite producing high-quality visuals. We further present a lightweight reasoning-guided post-edit baseline as an initial exploration, illustrating how inserting explicit reasoning can help mitigate such failures in a model-agnostic manner.