GeoRemover: Eliminación de objetos y sus artefactos visuales causales

GeoRemover: Removing Objects and Their Causal Visual Artifacts

September 23, 2025

Autores: Zixin Zhu, Haoxiang Li, Xuelu Feng, He Wu, Chunming Qiao, Junsong Yuan

cs.AI

Resumen

Hacia una edición inteligente de imágenes, la eliminación de objetos debería eliminar tanto el objeto objetivo como sus artefactos visuales causales, como sombras y reflejos. Sin embargo, los métodos existentes basados en la apariencia de la imagen siguen estrictamente un entrenamiento alineado con máscaras y no logran eliminar estos efectos causales que no están explícitamente enmascarados, o adoptan estrategias de alineación de máscaras poco estrictas que carecen de controlabilidad y pueden borrar involuntariamente otros objetos. Identificamos que estas limitaciones surgen de ignorar la relación causal entre la presencia geométrica de un objeto y sus efectos visuales. Para abordar esta limitación, proponemos un marco de trabajo en dos etapas consciente de la geometría que desacopla la eliminación de objetos en (1) eliminación geométrica y (2) renderizado de apariencia. En la primera etapa, eliminamos el objeto directamente de la geometría (por ejemplo, profundidad) utilizando una supervisión estrictamente alineada con máscaras, permitiendo una edición consciente de la estructura con fuertes restricciones geométricas. En la segunda etapa, renderizamos una imagen RGB fotorrealista condicionada por la geometría actualizada, donde los efectos visuales causales se consideran implícitamente como resultado de la geometría 3D modificada. Para guiar el aprendizaje en la etapa de eliminación geométrica, introducimos un objetivo basado en preferencias utilizando pares de muestras positivas y negativas, incentivando al modelo a eliminar objetos junto con sus artefactos visuales causales mientras se evitan inserciones estructurales nuevas. Experimentos extensivos demuestran que nuestro método alcanza un rendimiento de vanguardia en la eliminación tanto de objetos como de sus artefactos asociados en dos benchmarks populares. El código está disponible en https://github.com/buxiangzhiren/GeoRemover.

English

Towards intelligent image editing, object removal should eliminate both the target object and its causal visual artifacts, such as shadows and reflections. However, existing image appearance-based methods either follow strictly mask-aligned training and fail to remove these causal effects which are not explicitly masked, or adopt loosely mask-aligned strategies that lack controllability and may unintentionally over-erase other objects. We identify that these limitations stem from ignoring the causal relationship between an object's geometry presence and its visual effects. To address this limitation, we propose a geometry-aware two-stage framework that decouples object removal into (1) geometry removal and (2) appearance rendering. In the first stage, we remove the object directly from the geometry (e.g., depth) using strictly mask-aligned supervision, enabling structure-aware editing with strong geometric constraints. In the second stage, we render a photorealistic RGB image conditioned on the updated geometry, where causal visual effects are considered implicitly as a result of the modified 3D geometry. To guide learning in the geometry removal stage, we introduce a preference-driven objective based on positive and negative sample pairs, encouraging the model to remove objects as well as their causal visual artifacts while avoiding new structural insertions. Extensive experiments demonstrate that our method achieves state-of-the-art performance in removing both objects and their associated artifacts on two popular benchmarks. The code is available at https://github.com/buxiangzhiren/GeoRemover.