CaricaturaGS: Exageración de Rostros mediante 3D Gaussian Splatting con Curvatura Gausiana

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Autores: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Resumen

Se presenta un marco de trabajo fotorrealista y controlable para la caricaturización 3D de rostros. Comenzamos con una técnica de exageración superficial basada en la curvatura gaussiana intrínseca, que, al combinarse con la textura, tiende a producir renderizados demasiado suavizados. Para solucionarlo, recurrimos al *Splatting* de Gaussianas 3D (3DGS), que recientemente ha demostrado generar avatares realistas de vista libre. Dada una secuencia multivista, extraemos una malla FLAME, resolvemos una ecuación de Poisson ponderada por la curvatura y obtenemos su forma exagerada. Sin embargo, deformar directamente las Gaussianas produce resultados deficientes, lo que nos obliga a sintetizar imágenes de caricatura pseudo-ground-truth deformando cada fotograma hacia su representación 2D exagerada mediante transformaciones afines locales. Luego, diseñamos un esquema de entrenamiento que alterna entre supervisión real y sintetizada, permitiendo que una única colección de Gaussianas represente tanto avatares naturales como exagerados. Este esquema mejora la fidelidad, admite ediciones locales y permite un control continuo de la intensidad de la caricatura. Para lograr deformaciones en tiempo real, se introduce una interpolación eficiente entre las superficies original y exagerada. Además, analizamos y demostramos que esta interpolación tiene una desviación acotada respecto a las soluciones de forma cerrada. Tanto en evaluaciones cuantitativas como cualitativas, nuestros resultados superan a trabajos anteriores, ofreciendo avatares caricaturizados fotorrealistas y controlados geométricamente.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.