AvatarPointillist: AutoRegressivo Avatarizzazione 4D con Gaussiane
AvatarPointillist: AutoRegressive 4D Gaussian Avatarization
April 6, 2026
Autori: Hongyu Liu, Xuan Wang, Yating Wang, Zijian Wu, Ziyu Wan, Yue Ma, Runtao Liu, Boyao Zhou, Yujun Shen, Qifeng Chen
cs.AI
Abstract
Introduciamo AvatarPointillist, un nuovo framework per la generazione di avatar dinamici 4D in Gaussiana a partire da una singola immagine ritratto. Il cuore del nostro metodo è un Transformer di tipo decoder-only che genera in modo autoregressivo una nuvola di punti per il Gaussian Splatting 3D. Questo approccio sequenziale consente una costruzione precisa e adattiva, regolando dinamicamente la densità dei punti e il loro numero totale in base alla complessità del soggetto. Durante la generazione dei punti, il modello AR predice congiuntamente anche le informazioni di rigging per ogni punto, abilitando un'animazione realistica. Dopo la generazione, un decoder Gaussiano dedicato converte i punti in attributi Gaussiani completi e renderizzabili. Dimostriamo che il condizionamento del decoder sulle feature latenti del generatore AR permette un'interazione efficace tra gli stadi e migliora marcatamente la fedeltà. Esperimenti estensivi convalidano che AvatarPointillist produce avatar di alta qualità, fotorealistici e controllabili. Riteniamo che questa formulazione autoregressiva rappresenti un nuovo paradigma per la generazione di avatar, e renderemo pubblico il nostro codice per ispirare future ricerche.
English
We introduce AvatarPointillist, a novel framework for generating dynamic 4D Gaussian avatars from a single portrait image. At the core of our method is a decoder-only Transformer that autoregressively generates a point cloud for 3D Gaussian Splatting. This sequential approach allows for precise, adaptive construction, dynamically adjusting point density and the total number of points based on the subject's complexity. During point generation, the AR model also jointly predicts per-point binding information, enabling realistic animation. After generation, a dedicated Gaussian decoder converts the points into complete, renderable Gaussian attributes. We demonstrate that conditioning the decoder on the latent features from the AR generator enables effective interaction between stages and markedly improves fidelity. Extensive experiments validate that AvatarPointillist produces high-quality, photorealistic, and controllable avatars. We believe this autoregressive formulation represents a new paradigm for avatar generation, and we will release our code inspire future research.