VoxHammer: Точное и согласованное редактирование 3D в нативном 3D-пространстве без необходимости обучения

VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space

August 26, 2025

Авторы: Lin Li, Zehuan Huang, Haoran Feng, Gengxiong Zhuang, Rui Chen, Chunchao Guo, Lu Sheng

cs.AI

Аннотация

Локальное 3D-редактирование заданных областей имеет ключевое значение для игровой индустрии и взаимодействия с роботами. Современные методы обычно редактируют визуализированные изображения с нескольких ракурсов, а затем реконструируют 3D-модели, но сталкиваются с трудностями в точном сохранении неизмененных областей и общей согласованности. Вдохновленные структурированными 3D-генеративными моделями, мы предлагаем VoxHammer — новый подход, не требующий обучения, который выполняет точное и согласованное редактирование в 3D-латентном пространстве. Для заданной 3D-модели VoxHammer сначала предсказывает траекторию ее инверсии и получает инвертированные латентные переменные и ключевые токены на каждом временном шаге. Затем на этапе денойзинга и редактирования мы заменяем денойзинговые признаки сохраняемых областей соответствующими инвертированными латентными переменными и кэшированными ключевыми токенами. Сохраняя эти контекстные признаки, наш подход обеспечивает согласованную реконструкцию неизмененных областей и гармоничную интеграцию отредактированных частей. Для оценки согласованности сохраняемых областей мы создали Edit3D-Bench — аннотированный человеком набор данных, содержащий сотни образцов, каждый из которых имеет тщательно размеченные области 3D-редактирования. Эксперименты показывают, что VoxHammer значительно превосходит существующие методы как по 3D-согласованности сохраняемых областей, так и по общему качеству. Наш метод открывает перспективы для синтеза высококачественных отредактированных парных данных, закладывая основу для контекстной 3D-генерации. Подробнее на нашей странице проекта: https://huanngzh.github.io/VoxHammer-Page/.

English

3D local editing of specified regions is crucial for game industry and robot interaction. Recent methods typically edit rendered multi-view images and then reconstruct 3D models, but they face challenges in precisely preserving unedited regions and overall coherence. Inspired by structured 3D generative models, we propose VoxHammer, a novel training-free approach that performs precise and coherent editing in 3D latent space. Given a 3D model, VoxHammer first predicts its inversion trajectory and obtains its inverted latents and key-value tokens at each timestep. Subsequently, in the denoising and editing phase, we replace the denoising features of preserved regions with the corresponding inverted latents and cached key-value tokens. By retaining these contextual features, this approach ensures consistent reconstruction of preserved areas and coherent integration of edited parts. To evaluate the consistency of preserved regions, we constructed Edit3D-Bench, a human-annotated dataset comprising hundreds of samples, each with carefully labeled 3D editing regions. Experiments demonstrate that VoxHammer significantly outperforms existing methods in terms of both 3D consistency of preserved regions and overall quality. Our method holds promise for synthesizing high-quality edited paired data, thereby laying the data foundation for in-context 3D generation. See our project page at https://huanngzh.github.io/VoxHammer-Page/.