CaricatureGS: ガウス曲率を用いた3Dガウススプラッティング顔面の誇張表現

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

著者: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

要旨

写真のように写実的で制御可能な3D顔面漫画化フレームワークを提案する。本手法は、内在的なガウス曲率に基づく表面誇張技術から始まり、これにテクスチャを組み合わせると過度に平滑化されたレンダリングが生じる傾向がある。この問題に対処するため、最近写実的な自由視点アバターの生成が示されている3Dガウススプラッティング（3DGS）を採用する。マルチビューシーケンスからFLAMEメッシュを抽出し、曲率加重ポアソン方程式を解くことで、誇張された形状を得る。しかし、ガウシアンを直接変形させると不十分な結果となるため、局所アフィン変換を用いて各フレームを誇張2D表現にワープさせた擬似教師データ画像を合成する必要がある。次に、実画像と合成画像の監督を交互に行う学習スキームを考案し、単一のガウシアン集合で自然なアバターと誇張アバターの両方を表現可能にする。このスキームは忠実度を向上させ、局所編集をサポートし、漫画化の強度を連続的に制御できる。リアルタイム変形を実現するため、元の表面と誇張表面間の効率的な補間法を導入する。さらに解析により、この補間が閉形式解からの偏差が有界であることを示す。定量的・定性的評価の両方において、本手法は従来研究を上回る写実的で幾何学制御された漫画風アバターを実現する。

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.