아바타 포인틸리스트: 자기회귀적 4D 가우시안 아바타 생성

초록

우리는 단일 초상화 이미지로부터 동적인 4D 가우시안 아바타를 생성하는 새로운 프레임워크인 AvatarPointillist를 소개합니다. 우리 방법의 핵심은 3D 가우시안 스플래팅을 위한 포인트 클라우드를 자기회귀적으로 생성하는 디코더 전용 트랜스포머입니다. 이 순차적 접근 방식은 대상의 복잡도에 기반하여 포인트 밀도와 총 포인트 수를 동적으로 조정하며 정밀하고 적응적인 구성을 가능하게 합니다. 포인트 생성 과정에서 AR 모델은 포인트별 바인딩 정보를 함께 예측하여 사실적인 애니메이션을 가능하게 합니다. 생성 후에는 전용 가우시안 디코더가 포인트들을 완전한 렌더링 가능한 가우시안 속성으로 변환합니다. AR 생성기의 잠재 특징에 디코더를 조건화함으로써 단계 간 효과적인 상호작용이 가능해지고 충실도가 현저히 개선됨을 입증합니다. 광범위한 실험을 통해 AvatarPointillist가 고품질의 사실적이며 제어 가능한 아바타를 생성함을 검증합니다. 우리는 이 자기회귀적 형식이 아바타 생성의 새로운 패러다임을 나타낸다고 믿으며, 코드를 공개하여 향후 연구를 격려할 계획입니다.

English

We introduce AvatarPointillist, a novel framework for generating dynamic 4D Gaussian avatars from a single portrait image. At the core of our method is a decoder-only Transformer that autoregressively generates a point cloud for 3D Gaussian Splatting. This sequential approach allows for precise, adaptive construction, dynamically adjusting point density and the total number of points based on the subject's complexity. During point generation, the AR model also jointly predicts per-point binding information, enabling realistic animation. After generation, a dedicated Gaussian decoder converts the points into complete, renderable Gaussian attributes. We demonstrate that conditioning the decoder on the latent features from the AR generator enables effective interaction between stages and markedly improves fidelity. Extensive experiments validate that AvatarPointillist produces high-quality, photorealistic, and controllable avatars. We believe this autoregressive formulation represents a new paradigm for avatar generation, and we will release our code inspire future research.

아바타 포인틸리스트: 자기회귀적 4D 가우시안 아바타 생성

AvatarPointillist: AutoRegressive 4D Gaussian Avatarization

초록

Support