Perceptueel Nauwkeurige 3D Talking Head Generatie: Nieuwe Definities, Spraak-Mesh Representatie en Evaluatiemetrics

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Auteurs: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Samenvatting

Recente ontwikkelingen in spraakgestuurde 3D-talking head-generatie hebben aanzienlijke vooruitgang geboekt in lipsynchronisatie. Bestaande modellen hebben echter nog steeds moeite om de perceptuele afstemming tussen verschillende spraakkenmerken en de bijbehorende lipbewegingen vast te leggen. In dit werk stellen wij dat drie criteria -- Temporele Synchronisatie, Lipleesbaarheid en Expressiviteit -- cruciaal zijn voor het bereiken van perceptueel nauwkeurige lipbewegingen. Gemotiveerd door onze hypothese dat er een gewenste representatieruimte bestaat die aan deze drie criteria voldoet, introduceren wij een spraak-mesh gesynchroniseerde representatie die ingewikkelde overeenkomsten tussen spraaksignalen en 3D-gezichtsmeshes vastlegt. Wij ontdekten dat onze geleerde representatie gewenste eigenschappen vertoont, en wij integreren deze in bestaande modellen als een perceptueel verlies om lipbewegingen beter af te stemmen op de gegeven spraak. Daarnaast gebruiken wij deze representatie als een perceptuele metriek en introduceren wij twee andere fysiek onderbouwde lipsynchronisatiemetrics om te beoordelen hoe goed de gegenereerde 3D-talking heads aan deze drie criteria voldoen. Experimenten tonen aan dat het trainen van 3D-talking head-generatiemodellen met ons perceptuele verlies alle drie de aspecten van perceptueel nauwkeurige lipsynchronisatie aanzienlijk verbetert. Codes en datasets zijn beschikbaar op https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.