스켈레톤가우시안: 가우시안 스켈레톤화를 통한 편집 가능한 4D 생성

초록

4D 생성 기술은 입력된 텍스트, 이미지 또는 비디오로부터 동적인 3D 객체를 합성하는 분야에서 눈에 띄는 진전을 보여왔습니다. 그러나 기존 방법들은 모션을 암묵적인 변형 필드로 표현하는 경우가 많아 직접적인 제어와 편집이 제한됩니다. 이러한 문제를 해결하기 위해, 우리는 단안 비디오 입력으로부터 편집 가능한 동적 3D 가우시안을 생성하는 새로운 프레임워크인 SkeletonGaussian을 제안합니다. 우리의 접근 방식은 모션을 스켈레톤에 의해 명시적으로 구동되는 희소 강체 운동과 세분화된 비강체 운동으로 분해하는 계층적 관절 표현을 도입합니다. 구체적으로, 우리는 강력한 스켈레톤을 추출하고 선형 블렌드 스키닝을 통해 강체 운동을 구동한 뒤, 비강체 변형을 위한 헥스플레인 기반 정제 과정을 거쳐 해석 가능성과 편집성을 향상시킵니다. 실험 결과는 SkeletonGaussian이 생성 품질에서 기존 방법들을 능가하는 동시에 직관적인 모션 편집을 가능하게 하여, 편집 가능한 4D 생성의 새로운 패러다임을 정립함을 보여줍니다. 프로젝트 페이지: https://wusar.github.io/projects/skeletongaussian/

English

4D generation has made remarkable progress in synthesizing dynamic 3D objects from input text, images, or videos. However, existing methods often represent motion as an implicit deformation field, which limits direct control and editability. To address this issue, we propose SkeletonGaussian, a novel framework for generating editable dynamic 3D Gaussians from monocular video input. Our approach introduces a hierarchical articulated representation that decomposes motion into sparse rigid motion explicitly driven by a skeleton and fine-grained non-rigid motion. Concretely, we extract a robust skeleton and drive rigid motion via linear blend skinning, followed by a hexplane-based refinement for non-rigid deformations, enhancing interpretability and editability. Experimental results demonstrate that SkeletonGaussian surpasses existing methods in generation quality while enabling intuitive motion editing, establishing a new paradigm for editable 4D generation. Project page: https://wusar.github.io/projects/skeletongaussian/

스켈레톤가우시안: 가우시안 스켈레톤화를 통한 편집 가능한 4D 생성

SkeletonGaussian: Editable 4D Generation through Gaussian Skeletonization

초록

Support