CaricatureGS: Übertreibung von 3D-Gaussian-Splatting-Gesichtern mittels Gaußscher Krümmung

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Autoren: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Zusammenfassung

Es wird ein photorealistisches und steuerbares 3D-Karikaturisierungsframework für Gesichter vorgestellt. Wir beginnen mit einer auf intrinsischer Gaußscher Krümmung basierenden Oberflächenüberzeichnungstechnik, die in Kombination mit Textur tendenziell zu weichgezeichneten Darstellungen führt. Um dies zu beheben, greifen wir auf 3D Gaussian Splatting (3DGS) zurück, das kürzlich für die Erstellung realistischer Freisicht-Avatare demonstriert wurde. Aus einer Multiview-Sequenz extrahieren wir ein FLAME-Mesh, lösen eine krümmungsgewichtete Poisson-Gleichung und erhalten deren überzeichnete Form. Die direkte Deformation der Gaußverteilungen führt jedoch zu unbefriedigenden Ergebnissen, weshalb wir Pseudoground-Truth-Karikaturbilder synthetisieren, indem wir jedes Einzelbild mittels lokaler affiner Transformationen in seine überzeichnete 2D-Darstellung überführen. Anschließend entwickeln wir ein Trainingsschema, das zwischen echter und synthetischer Überwachung alterniert und es einer einzelnen Gaußsammlung ermöglicht, sowohl natürliche als auch überzeichnete Avatare darzustellen. Dieses Schema verbessert die Detailtreue, unterstützt lokale Bearbeitungen und erlaubt eine kontinuierliche Steuerung der Karikaturintensität. Um Echtzeitverformungen zu ermöglichen, wird eine effiziente Interpolation zwischen der originalen und der überzeichneten Oberfläche eingeführt. Wir analysieren weiterhin und zeigen, dass diese eine begrenzte Abweichung von geschlossenen Lösungen aufweist. In quantitativen und qualitativen Evaluierungen übertreffen unsere Ergebnisse frühere Arbeiten und liefern photorealistische, geometriegesteuerte Karikaturavatare.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.