ChatPaper.aiChatPaper

Textgesteuerte Erzeugung und Bearbeitung von kompositionellen 3D-Avataren

Text-Guided Generation and Editing of Compositional 3D Avatars

September 13, 2023
Autoren: Hao Zhang, Yao Feng, Peter Kulits, Yandong Wen, Justus Thies, Michael J. Black
cs.AI

Zusammenfassung

Unser Ziel ist es, einen realistischen 3D-Gesichtsavatar mit Haaren und Accessoires allein anhand einer Textbeschreibung zu erstellen. Obwohl diese Herausforderung in letzter Zeit auf großes Interesse gestoßen ist, mangelt es bestehenden Methoden entweder an Realismus, sie erzeugen unrealistische Formen oder unterstützen keine Bearbeitung, wie beispielsweise Änderungen der Frisur. Wir argumentieren, dass bestehende Methoden begrenzt sind, da sie einen monolithischen Modellierungsansatz verwenden, bei dem eine einzige Repräsentation für Kopf, Gesicht, Haare und Accessoires genutzt wird. Unsere Beobachtung ist, dass beispielsweise Haare und Gesicht sehr unterschiedliche strukturelle Eigenschaften aufweisen, die von verschiedenen Repräsentationen profitieren. Aufbauend auf dieser Erkenntnis generieren wir Avatare mit einem kompositionellen Modell, bei dem Kopf, Gesicht und Oberkörper durch traditionelle 3D-Meshes dargestellt werden, während Haare, Kleidung und Accessoires durch neurale Strahlungsfelder (NeRF) repräsentiert werden. Die mesh-basierte Modellrepräsentation bietet eine starke geometrische Priorität für den Gesichtsbereich, was den Realismus verbessert und gleichzeitig die Bearbeitung des Erscheinungsbilds der Person ermöglicht. Durch die Verwendung von NeRFs zur Darstellung der verbleibenden Komponenten ist unsere Methode in der Lage, Teile mit komplexer Geometrie und Erscheinung, wie lockige Haare und flauschige Schals, zu modellieren und zu synthetisieren. Unser neuartiges System synthetisiert diese hochwertigen kompositionellen Avatare aus Textbeschreibungen. Die experimentellen Ergebnisse zeigen, dass unsere Methode, die textgesteuerte Generierung und Bearbeitung von kompositionellen Avataren (TECA), realistischere Avatare erzeugt als aktuelle Methoden und aufgrund ihres kompositionellen Charakters bearbeitbar ist. Beispielsweise ermöglicht unsere TECA die nahtlose Übertragung von kompositionellen Merkmalen wie Frisuren, Schals und anderen Accessoires zwischen Avataren. Diese Fähigkeit unterstützt Anwendungen wie virtuelles Anprobieren.
English
Our goal is to create a realistic 3D facial avatar with hair and accessories using only a text description. While this challenge has attracted significant recent interest, existing methods either lack realism, produce unrealistic shapes, or do not support editing, such as modifications to the hairstyle. We argue that existing methods are limited because they employ a monolithic modeling approach, using a single representation for the head, face, hair, and accessories. Our observation is that the hair and face, for example, have very different structural qualities that benefit from different representations. Building on this insight, we generate avatars with a compositional model, in which the head, face, and upper body are represented with traditional 3D meshes, and the hair, clothing, and accessories with neural radiance fields (NeRF). The model-based mesh representation provides a strong geometric prior for the face region, improving realism while enabling editing of the person's appearance. By using NeRFs to represent the remaining components, our method is able to model and synthesize parts with complex geometry and appearance, such as curly hair and fluffy scarves. Our novel system synthesizes these high-quality compositional avatars from text descriptions. The experimental results demonstrate that our method, Text-guided generation and Editing of Compositional Avatars (TECA), produces avatars that are more realistic than those of recent methods while being editable because of their compositional nature. For example, our TECA enables the seamless transfer of compositional features like hairstyles, scarves, and other accessories between avatars. This capability supports applications such as virtual try-on.
PDF71December 15, 2024