CaricatureGS: Esagerazione di volti con splatting di gaussiane 3D mediante curvatura gaussiana

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Autori: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Abstract

Viene presentato un framework fotorealistico e controllabile per la caricaturizzazione 3D di volti. Si parte da una tecnica di esagerazione della superficie basata sulla curvatura Gaussiana intrinseca che, se combinata con la texture, tende a produrre rendering eccessivamente levigati. Per ovviare a questo problema, si ricorre al 3D Gaussian Splatting (3DGS), che è stato recentemente dimostrato in grado di generare avatar realistici in viewpoint libero. Data una sequenza multivista, si estrae una mesh FLAME, si risolve un'equazione di Poisson pesata sulla curvatura e si ottiene la sua forma esagerata. Tuttavia, la deformazione diretta dei Gaussiani produce risultati scadenti, rendendo necessaria la sintesi di immagini caricaturali pseudo-ground-truth deformando ogni fotogramma verso la sua rappresentazione 2D esagerata mediante trasformazioni affini locali. Si elabora quindi uno schema di addestramento che alterna supervisione su dati reali e sintetizzati, permettendo a una singola collezione di Gaussiani di rappresentare sia avatar naturali che esagerati. Questo schema migliora la fedeltà, supporta modifiche locali e consente un controllo continuo sull'intensità della caricatura. Per ottenere deformazioni in tempo reale, viene introdotta un'interpolazione efficiente tra le superfici originale ed esagerata. Si analizza inoltre e si dimostra che essa presenta una deviazione limitata rispetto alle soluzioni in forma chiusa. In valutazioni sia quantitative che qualitative, i nostri risultati superano il lavoro precedente, fornendo avatar caricaturali fotorealistici e controllati geometricamente.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.