카리커처GS: 가우스 곡률을 활용한 3D 가우시안 스플래팅 얼굴의 과장 표현

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

저자: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

초록

사진처럼 사실적이고 제어 가능한 얼굴 3D 캐리커처화 프레임워크를 소개한다. 본 연구는 본질적 가우스 곡률 기반 표면 과장 기법으로 시작하며, 이 기법은 텍스처와 결합될 때 과도하게 매끄럽게 렌더링되는 경향이 있다. 이를 해결하기 위해 최근 사실적인 자유 시점 아바타 생성 능력을 입증한 3D 가우시안 스플래팅(3DGS)을 활용한다. 다중 뷰 영상 시퀀스를 입력받아 FLAME 메시를 추출하고, 곡률 가중 푸아송 방정식을 풀어 과장된 형태를 얻는다. 그러나 가우시안을 직접 변형하면 결과가 좋지 않아, 국소 아핀 변환을 사용하여 각 프레임을 과장된 2D 표현으로 와핑하여 가상 실측값 캐리커처 이미지를 합성해야 한다. 그런 다음 실제 감독과 합성 감독을 번갈아 사용하는 훈련 방식을 고안하여 단일 가우시안 집합이 일반적인 아바타와 과장된 아바타를 모두 표현할 수 있도록 한다. 이 방식은 충실도를 향상시키고 지역적 편집을 지원하며 캐리커처 강도를 연속적으로 제어할 수 있게 한다. 실시간 변형을 달성하기 위해 원본 표면과 과장된 표면 간의 효율적인 보간법을 도입한다. 또한 이를 분석하여 폐형 해석적 해법으로부터의 편차가 유계됨을 보인다. 정량적 및 정성적 평가 모두에서 우리의 결과는 기존 연구를 능가하며, 사실적이고 기하학적으로 제어되는 캐리커처 아바타를 제공한다.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.