VoxHammer: Trainingvrije, precieze en samenhangende 3D-bewerking in native 3D-ruimte

VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space

August 26, 2025

Auteurs: Lin Li, Zehuan Huang, Haoran Feng, Gengxiong Zhuang, Rui Chen, Chunchao Guo, Lu Sheng

cs.AI

Samenvatting

3D-lokaal bewerken van gespecificeerde regio's is cruciaal voor de game-industrie en robotinteractie. Recente methoden bewerken doorgaans gerenderde multi-view afbeeldingen en reconstrueren vervolgens 3D-modellen, maar ze kampen met uitdagingen bij het nauwkeurig behouden van onbewerkte regio's en de algehele samenhang. Geïnspireerd door gestructureerde 3D-generatieve modellen, stellen we VoxHammer voor, een nieuwe trainingsvrije aanpak die precies en coherent bewerken in 3D-latente ruimte uitvoert. Gegeven een 3D-model, voorspelt VoxHammer eerst de inversietrajectorie en verkrijgt het de geïnverteerde latente representaties en sleutel-waarde-tokens op elk tijdstip. Vervolgens vervangen we in de fase van ruisverwijdering en bewerking de ruisverwijderingskenmerken van bewaarde regio's met de corresponderende geïnverteerde latente representaties en opgeslagen sleutel-waarde-tokens. Door deze contextuele kenmerken te behouden, zorgt deze aanpak voor een consistente reconstructie van bewaarde gebieden en een samenhangende integratie van bewerkte delen. Om de consistentie van bewaarde regio's te evalueren, hebben we Edit3D-Bench geconstrueerd, een door mensen geannoteerde dataset bestaande uit honderden voorbeelden, elk met zorgvuldig gelabelde 3D-bewerkingsregio's. Experimenten tonen aan dat VoxHammer bestaande methoden aanzienlijk overtreft wat betreft zowel de 3D-consistentie van bewaarde regio's als de algehele kwaliteit. Onze methode belooft hoogwaardige bewerkte gepaarde data te synthetiseren, waardoor de datafundering wordt gelegd voor in-context 3D-generatie. Zie onze projectpagina op https://huanngzh.github.io/VoxHammer-Page/.

English

3D local editing of specified regions is crucial for game industry and robot interaction. Recent methods typically edit rendered multi-view images and then reconstruct 3D models, but they face challenges in precisely preserving unedited regions and overall coherence. Inspired by structured 3D generative models, we propose VoxHammer, a novel training-free approach that performs precise and coherent editing in 3D latent space. Given a 3D model, VoxHammer first predicts its inversion trajectory and obtains its inverted latents and key-value tokens at each timestep. Subsequently, in the denoising and editing phase, we replace the denoising features of preserved regions with the corresponding inverted latents and cached key-value tokens. By retaining these contextual features, this approach ensures consistent reconstruction of preserved areas and coherent integration of edited parts. To evaluate the consistency of preserved regions, we constructed Edit3D-Bench, a human-annotated dataset comprising hundreds of samples, each with carefully labeled 3D editing regions. Experiments demonstrate that VoxHammer significantly outperforms existing methods in terms of both 3D consistency of preserved regions and overall quality. Our method holds promise for synthesizing high-quality edited paired data, thereby laying the data foundation for in-context 3D generation. See our project page at https://huanngzh.github.io/VoxHammer-Page/.