PERSE: Personalisierte 3D-generative Avatare aus einem einzigen Porträt

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Autoren: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Zusammenfassung

Wir präsentieren PERSE, eine Methode zur Erstellung eines animierbaren personalisierten generativen Avatars aus einem Referenzporträt. Unser Avatar-Modell ermöglicht die Bearbeitung von Gesichtsmerkmalen in einem kontinuierlichen und entwirrten latenten Raum, um jedes Gesichtsmerkmal zu steuern, während die Identität der Person erhalten bleibt. Um dies zu erreichen, beginnt unsere Methode mit der Synthese von groß angelegten synthetischen 2D-Video-Datensätzen, wobei jedes Video konsistente Veränderungen in der Gesichtsausdruck und Blickwinkel enthält, kombiniert mit einer Variation eines spezifischen Gesichtsmerkmals des ursprünglichen Eingangs. Wir schlagen eine neuartige Pipeline zur Erzeugung hochwertiger, fotorealistischer 2D-Videos mit der Bearbeitung von Gesichtsmerkmalen vor. Unter Verwendung dieses synthetischen Merkmalsdatensatzes präsentieren wir eine personalisierte Avatar-Erstellungsmethode basierend auf dem 3D-Gauß-Splatting, die einen kontinuierlichen und entwirrten latenten Raum für intuitive Bearbeitung von Gesichtsmerkmalen lernt. Um sanfte Übergänge in diesem latenten Raum zu erzwingen, führen wir eine Technik zur Regularisierung des latenten Raums ein, indem wir interpolierte 2D-Gesichter als Aufsicht verwenden. Im Vergleich zu früheren Ansätzen zeigen wir, dass PERSE hochwertige Avatare mit interpolierten Merkmalen generiert und dabei die Identität der Referenzperson bewahrt.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.