Chat-Edit-3D++: 대규모 언어 모델을 통한 대화형 3D 및 4D 장면 편집

초록

비전-언어 사전 학습 모델에 기반한 최근의 이미지 콘텐츠 조작 연구는 텍스트 기반 3D 장면 편집으로 효과적으로 확장되었다. 그러나 기존의 3D 장면 편집 방식은 여전히 특정 한계를 지니고 있어, 대화형 디자인 도구로서의 추가 발전을 저해하고 있다. 이러한 방식들은 일반적으로 고정된 입력 패턴을 따르므로 텍스트 입력의 유연성이 제한된다. 또한, 편집 기능이 단일 또는 소수의 2D 시각 모델에 국한되어 있으며, 이러한 모델들을 3D 재구성 과정에 통합하기 위해 복잡한 파이프라인 설계가 요구된다. 이러한 문제들을 해결하기 위해, 우리는 3D 장면 편집을 2D 아틀라스 이미지에 대한 연산으로 재정식화하는 Hash-Atlas 네트워크를 제안함으로써, 2D 편집과 3D 재구성 과정의 작업 흐름을 분리한다. 이 기반 위에, 우리는 대규모 언어 모델(LLM)을 중심으로 한 대화 기반 3D 장면 편집 접근법인 CE3D++를 도입한다. 이는 사용자로부터 임의의 텍스트 입력을 허용하고 사용자의 의도를 해석하여, 이에 따라 해당 시각 모델을 자율적으로 호출할 수 있게 한다. 또한, 우리는 움직이는 객체에 모션 제약을 부과하고, 편집 작업과 관련된 궤적 데이터셋을 생성하여 LLM을 추가로 미세 조정함으로써 CE3D++를 단안 4D 장면으로 확장한다. 이를 통해 더 작은 LLM이 최대 30개의 서로 다른 시각적 도구를 정확하게 스케줄링할 수 있게 된다. 실험 결과는 CE3D++가 다양한 시각적 편집 효과를 달성하기 위해 여러 시각 모델을 효과적으로 통합하며, 강력한 장면 이해 능력과 다중 턴 대화 능력을 보유함을 입증한다. 소스 코드와 학습된 모델은 https://github.com/Fangkang515/CE3D에서 확인할 수 있다.

English

Recent work on image content manipulation based on vision-language pre-training models has been effectively extended to text-driven 3D scene editing. However, existing schemes for 3D scene editing still have certain shortcomings, hindering their further development as interactive design tools. Such schemes typically adhere to fixed input patterns, limiting flexibility in text input. Furthermore, their editing capabilities are constrained by a single or a few 2D visual models and require intricate pipeline design to integrate these models into 3D reconstruction processes. To address the aforementioned issues, we propose the Hash-Atlas network, which reformulates 3D scene editing as operations on 2D atlas images, thereby achieving a workflow decoupling of the 2D editing and 3D reconstruction processes. Building on this foundation, we introduce a dialogue-based 3D scene editing approach, termed CE3D++, which is centered on a large language model (LLM) that allows arbitrary textual input from users and interprets their intentions, subsequently facilitating the autonomous invocation of the corresponding visual models. Additionally, we extend CE3D++ to monocular 4D scenes by imposing motion constraints on moving objects and further fine-tuning the LLM by creating a trajectory dataset related to editing tasks, which enables the smaller LLM to schedule up to 30 different visual tools accurately. Experimental results demonstrate that CE3D++ effectively integrates multiple visual models to achieve diverse visual editing effects, possessing strong scene comprehension and multi-round dialog capabilities. The source codes and trained models are available at https://github.com/Fangkang515/CE3D.