AvatarPointillist: 自己回帰的4Dガウシアンアバター化

AvatarPointillist: AutoRegressive 4D Gaussian Avatarization

April 6, 2026

著者: Hongyu Liu, Xuan Wang, Yating Wang, Zijian Wu, Ziyu Wan, Yue Ma, Runtao Liu, Boyao Zhou, Yujun Shen, Qifeng Chen

cs.AI

要旨

本論文では、単一のポートレート画像から動的4Dガウシアンアバターを生成する新規フレームワーク「AvatarPointillist」を提案する。本手法の中核は、3D Gaussian Splattingのための点群を自己回帰的に生成するデコーダのみのトランスフォーマーである。この逐次的なアプローチにより、被写体の複雑さに基づいて点密度と総点数を動的に調整する、精密で適応的な構築が可能となる。点生成時に、ARモデルは点ごとのバインド情報も同時に予測し、リアルなアニメーションを実現する。生成後、専用のガウシアンデコーダが点を完全なレンダリング可能なガウシアン属性に変換する。AR生成器の潜在特徴をデコーダの条件として与えることで、段階間の効果的な相互作用が可能となり、忠実度が顕著に向上することを実証する。大規模な実験により、AvatarPointillistが高品質で写実的、かつ制御可能なアバターを生成することを検証する。この自己回帰的定式化はアバター生成の新たなパラダイムを示すものであり、コードを公開して将来の研究発展を促す。

English

We introduce AvatarPointillist, a novel framework for generating dynamic 4D Gaussian avatars from a single portrait image. At the core of our method is a decoder-only Transformer that autoregressively generates a point cloud for 3D Gaussian Splatting. This sequential approach allows for precise, adaptive construction, dynamically adjusting point density and the total number of points based on the subject's complexity. During point generation, the AR model also jointly predicts per-point binding information, enabling realistic animation. After generation, a dedicated Gaussian decoder converts the points into complete, renderable Gaussian attributes. We demonstrate that conditioning the decoder on the latent features from the AR generator enables effective interaction between stages and markedly improves fidelity. Extensive experiments validate that AvatarPointillist produces high-quality, photorealistic, and controllable avatars. We believe this autoregressive formulation represents a new paradigm for avatar generation, and we will release our code inspire future research.