VoxHammer : Édition 3D précise et cohérente sans entraînement dans l'espace 3D natif

VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space

August 26, 2025

papers.authors: Lin Li, Zehuan Huang, Haoran Feng, Gengxiong Zhuang, Rui Chen, Chunchao Guo, Lu Sheng

cs.AI

papers.abstract

L'édition locale 3D de régions spécifiées est cruciale pour l'industrie du jeu vidéo et l'interaction robotique. Les méthodes récentes modifient généralement des images multi-vues rendues avant de reconstruire des modèles 3D, mais elles rencontrent des difficultés à préserver précisément les régions non modifiées et la cohérence globale. Inspirés par les modèles génératifs 3D structurés, nous proposons VoxHammer, une nouvelle approche sans apprentissage qui effectue des modifications précises et cohérentes dans l'espace latent 3D. Étant donné un modèle 3D, VoxHammer prédit d'abord sa trajectoire d'inversion et obtient ses latents inversés ainsi que ses tokens clé-valeur à chaque étape temporelle. Ensuite, lors de la phase de débruîtage et d'édition, nous remplaçons les caractéristiques de débruîtage des régions préservées par les latents inversés correspondants et les tokens clé-valeur mis en cache. En conservant ces caractéristiques contextuelles, cette approche garantit une reconstruction cohérente des zones préservées et une intégration harmonieuse des parties modifiées. Pour évaluer la cohérence des régions préservées, nous avons construit Edit3D-Bench, un ensemble de données annoté manuellement comprenant des centaines d'échantillons, chacun avec des régions d'édition 3D soigneusement étiquetées. Les expériences démontrent que VoxHammer surpasse significativement les méthodes existantes en termes de cohérence 3D des régions préservées et de qualité globale. Notre méthode promet de synthétiser des données modifiées appariées de haute qualité, jetant ainsi les bases de données pour la génération 3D contextuelle. Consultez notre page de projet à l'adresse https://huanngzh.github.io/VoxHammer-Page/.

English

3D local editing of specified regions is crucial for game industry and robot interaction. Recent methods typically edit rendered multi-view images and then reconstruct 3D models, but they face challenges in precisely preserving unedited regions and overall coherence. Inspired by structured 3D generative models, we propose VoxHammer, a novel training-free approach that performs precise and coherent editing in 3D latent space. Given a 3D model, VoxHammer first predicts its inversion trajectory and obtains its inverted latents and key-value tokens at each timestep. Subsequently, in the denoising and editing phase, we replace the denoising features of preserved regions with the corresponding inverted latents and cached key-value tokens. By retaining these contextual features, this approach ensures consistent reconstruction of preserved areas and coherent integration of edited parts. To evaluate the consistency of preserved regions, we constructed Edit3D-Bench, a human-annotated dataset comprising hundreds of samples, each with carefully labeled 3D editing regions. Experiments demonstrate that VoxHammer significantly outperforms existing methods in terms of both 3D consistency of preserved regions and overall quality. Our method holds promise for synthesizing high-quality edited paired data, thereby laying the data foundation for in-context 3D generation. See our project page at https://huanngzh.github.io/VoxHammer-Page/.