Perzeptuell präzise 3D-Talking-Head-Generierung: Neue Definitionen, Sprach-Mesh-Repräsentation und Bewertungsmetriken

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Autoren: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Zusammenfassung

Jüngste Fortschritte in der sprachgesteuerten Erzeugung von 3D-Sprechköpfen haben bedeutende Fortschritte bei der Lippensynchronisation erzielt. Dennoch haben bestehende Modelle weiterhin Schwierigkeiten, die wahrnehmungsbezogene Übereinstimmung zwischen variierenden Sprachmerkmalen und den entsprechenden Lippenbewegungen zu erfassen. In dieser Arbeit behaupten wir, dass drei Kriterien – zeitliche Synchronisation, Lippenerkennbarkeit und Ausdrucksstärke – entscheidend für die Erzielung wahrnehmungsgenauer Lippenbewegungen sind. Motiviert durch unsere Hypothese, dass ein wünschenswerter Repräsentationsraum existiert, der diese drei Kriterien erfüllt, führen wir eine sprach-mesh-synchronisierte Repräsentation ein, die komplexe Korrespondenzen zwischen Sprachsignalen und 3D-Gesichtsnetzen erfasst. Wir fanden heraus, dass unsere gelernte Repräsentation wünschenswerte Eigenschaften aufweist, und integrieren sie als wahrnehmungsbezogenen Verlust in bestehende Modelle, um Lippenbewegungen besser an die gegebene Sprache anzupassen. Darüber hinaus nutzen wir diese Repräsentation als wahrnehmungsbezogene Metrik und führen zwei weitere physikalisch fundierte Metriken zur Lippensynchronisation ein, um zu bewerten, wie gut die erzeugten 3D-Sprechköpfe mit diesen drei Kriterien übereinstimmen. Experimente zeigen, dass das Training von Modellen zur Erzeugung von 3D-Sprechköpfen mit unserem wahrnehmungsbezogenen Verlust alle drei Aspekte der wahrnehmungsgenauen Lippensynchronisation signifikant verbessert. Codes und Datensätze sind verfügbar unter https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.