CaricatureGS: Exagerando Faces de 3D Gaussian Splatting com Curvatura Gausiana

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Autores: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Resumo

É introduzido um framework fotorealista e controlável para caricaturização 3D de rostos. Começamos com uma técnica de exagero de superfície baseada na curvatura Gaussiana intrínseca, que, quando acoplada à textura, tende a produzir renders excessivamente suavizados. Para resolver isso, recorremos ao *3D Gaussian Splatting* (3DGS), que recentemente demonstrou produzir *avatars* realistas em pontos de vista livres. Dada uma sequência multivista, extraímos uma malha FLAME, resolvemos uma equação de Poisson ponderada pela curvatura e obtemos a sua forma exagerada. No entanto, deformar os Gaussianos diretamente produz resultados insatisfatórios, tornando necessária a síntese de imagens-caricatura pseudo *ground-truth* através do *warping* de cada *frame* para a sua representação 2D exagerada usando transformações afins locais. Em seguida, concebemos um esquema de treino que alterna entre supervisão real e sintetizada, permitindo que uma única coleção de Gaussianos represente tanto *avatars* naturais quanto exagerados. Este esquema melhora a fidelidade, suporta edições locais e permite um controlo contínuo sobre a intensidade da caricatura. Para alcançar deformações em tempo real, é introduzida uma interpolação eficiente entre as superfícies original e exagerada. Analisamos e demonstramos ainda que esta tem um desvio limitado em relação a soluções de forma fechada. Tanto em avaliações quantitativas quanto qualitativas, os nossos resultados superam trabalhos anteriores, fornecendo *avatars* caricaturais fotorealistas e com controlo geométrico.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.