GeoRemover: Удаление объектов и их причинных визуальных артефактов

GeoRemover: Removing Objects and Their Causal Visual Artifacts

September 23, 2025

Авторы: Zixin Zhu, Haoxiang Li, Xuelu Feng, He Wu, Chunming Qiao, Junsong Yuan

cs.AI

Аннотация

В направлении интеллектуального редактирования изображений удаление объектов должно устранять как сам целевой объект, так и его причинные визуальные артефакты, такие как тени и отражения. Однако существующие методы, основанные на внешнем виде изображений, либо строго следуют обучению с выравниванием по маске и не способны удалить эти причинные эффекты, которые явно не замаскированы, либо используют слабо выровненные по маске стратегии, которые лишены управляемости и могут непреднамеренно перезатереть другие объекты. Мы выявляем, что эти ограничения возникают из-за игнорирования причинной связи между геометрическим присутствием объекта и его визуальными эффектами. Для устранения этого ограничения мы предлагаем геометрически осознанную двухэтапную структуру, которая разделяет удаление объекта на (1) удаление геометрии и (2) рендеринг внешнего вида. На первом этапе мы удаляем объект непосредственно из геометрии (например, глубины) с использованием строго выровненного по маске контроля, что позволяет осуществлять структурированное редактирование с сильными геометрическими ограничениями. На втором этапе мы рендерим фотореалистичное RGB-изображение, основываясь на обновленной геометрии, где причинные визуальные эффекты учитываются неявно как результат измененной 3D-геометрии. Для управления обучением на этапе удаления геометрии мы вводим предпочтение-ориентированную цель, основанную на парах положительных и отрицательных образцов, что побуждает модель удалять объекты вместе с их причинными визуальными артефактами, избегая при этом новых структурных вставок. Многочисленные эксперименты демонстрируют, что наш метод достигает передовых результатов в удалении как объектов, так и связанных с ними артефактов на двух популярных тестовых наборах. Код доступен по адресу https://github.com/buxiangzhiren/GeoRemover.

English

Towards intelligent image editing, object removal should eliminate both the target object and its causal visual artifacts, such as shadows and reflections. However, existing image appearance-based methods either follow strictly mask-aligned training and fail to remove these causal effects which are not explicitly masked, or adopt loosely mask-aligned strategies that lack controllability and may unintentionally over-erase other objects. We identify that these limitations stem from ignoring the causal relationship between an object's geometry presence and its visual effects. To address this limitation, we propose a geometry-aware two-stage framework that decouples object removal into (1) geometry removal and (2) appearance rendering. In the first stage, we remove the object directly from the geometry (e.g., depth) using strictly mask-aligned supervision, enabling structure-aware editing with strong geometric constraints. In the second stage, we render a photorealistic RGB image conditioned on the updated geometry, where causal visual effects are considered implicitly as a result of the modified 3D geometry. To guide learning in the geometry removal stage, we introduce a preference-driven objective based on positive and negative sample pairs, encouraging the model to remove objects as well as their causal visual artifacts while avoiding new structural insertions. Extensive experiments demonstrate that our method achieves state-of-the-art performance in removing both objects and their associated artifacts on two popular benchmarks. The code is available at https://github.com/buxiangzhiren/GeoRemover.