CaricatureGS: Overdrijving van 3D Gaussische Splatting-gezichten met Gaussische Kromming

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Auteurs: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Samenvatting

Wij introduceren een fotorealistisch en controleerbaar 3D-karikaturiseringsraamwerk voor gezichten. We beginnen met een op intrinsieke Gaussiaanse kromming gebaseerde techniek voor oppervlakte-exaggeratie, die in combinatie met textuur vaak te gladde weergaven produceert. Om dit op te lossen, nemen we onze toevlucht tot 3D Gaussian Splatting (3DGS), waarvan recent is aangetoond dat het realistische avatars vanuit vrij perspectief kan genereren. Gegeven een multiview-sequentie extraheren we een FLAME-mesh, lossen we een kromming-gewogen Poisson-vergelijking op en verkrijgen we de geëxaggerreerde vorm. Directe vervorming van de Gaussiaanse functies levert echter slechte resultaten op, wat de synthese van pseudo-ground-truth karikatuurbeelden noodzakelijk maakt door elk frame te vervormen naar zijn geëxaggerreerde 2D-representatie met behulp van lokale affiene transformaties. Vervolgens ontwerpen we een trainingsschema dat afwisselt tussen supervisie op echte en gesynthetiseerde beelden, waardoor een enkele Gaussiaanse verzameling zowel natuurlijke als geëxaggerreerde avatars kan vertegenwoordigen. Dit schema verbetert de geloofwaardigheid, ondersteunt lokale aanpassingen en maakt continue controle over de intensiteit van de karikatuur mogelijk. Om real-time vervormingen te bereiken, introduceren we een efficiënte interpolatie tussen de originele en de geëxaggerreerde oppervlakken. We analyseren verder en tonen aan dat deze een begrensde afwijking heeft ten opzichte van gesloten-vorm oplossingen. In zowel kwantitatieve als kwalitatieve evaluaties overtreffen onze resultaten eerder werk, en leveren ze fotorealistische, geometriegestuurde karikatuur-avatars.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.