CaricatureGS: Преувеличение лиц в 3D Gaussian Splatting с помощью гауссовой кривизны

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

January 6, 2026

Авторы: Eldad Matmon, Amit Bracha, Noam Rotstein, Ron Kimmel

cs.AI

Аннотация

Представлен фотореалистичный и управляемый фреймворк для 3D-карикатуризации лиц. Мы начинаем с техники преувеличения поверхности на основе внутренней гауссовой кривизны, которая в сочетании с текстурой часто приводит к излишне сглаженному рендерингу. Для решения этой проблемы мы обращаемся к методу 3D Gaussian Splatting (3DGS), который недавно продемонстрировал способность создавать реалистичные аватары со свободной точкой обзора. Получив многовидовую последовательность, мы извлекаем FLAME-меш, решаем уравнение Пуассона с весами, зависящими от кривизны, и получаем его преувеличенную форму. Однако прямое деформирование гауссианов дает неудовлетворительные результаты, что требует синтеза псевдо-референтных карикатурных изображений путем деформации каждого кадра в его преувеличенное 2D-представление с использованием локальных аффинных преобразований. Затем мы разрабатываем схему обучения, чередующую контроль по реальным и синтезированным данным, что позволяет одной коллекции гауссианов представлять как естественные, так и преувеличенные аватары. Данная схема повышает точность, поддерживает локальное редактирование и обеспечивает плавный контроль над степенью карикатурности. Для достижения деформаций в реальном времени вводится эффективная интерполяция между исходной и преувеличенной поверхностями. Мы дополнительно анализируем и показываем, что отклонение от точных аналитических решений является ограниченным. Количественные и качественные оценки демонстрируют превосходство наших результатов над предыдущими работами, обеспечивая создание фотореалистичных аватаров-карикатур с управляемой геометрией.

English

A photorealistic and controllable 3D caricaturization framework for faces is introduced. We start with an intrinsic Gaussian curvature-based surface exaggeration technique, which, when coupled with texture, tends to produce over-smoothed renders. To address this, we resort to 3D Gaussian Splatting (3DGS), which has recently been shown to produce realistic free-viewpoint avatars. Given a multiview sequence, we extract a FLAME mesh, solve a curvature-weighted Poisson equation, and obtain its exaggerated form. However, directly deforming the Gaussians yields poor results, necessitating the synthesis of pseudo-ground-truth caricature images by warping each frame to its exaggerated 2D representation using local affine transformations. We then devise a training scheme that alternates real and synthesized supervision, enabling a single Gaussian collection to represent both natural and exaggerated avatars. This scheme improves fidelity, supports local edits, and allows continuous control over the intensity of the caricature. In order to achieve real-time deformations, an efficient interpolation between the original and exaggerated surfaces is introduced. We further analyze and show that it has a bounded deviation from closed-form solutions. In both quantitative and qualitative evaluations, our results outperform prior work, delivering photorealistic, geometry-controlled caricature avatars.