Generación de Cabezas Parlantes 3D con Precisión Perceptual: Nuevas Definiciones, Representación Speech-Mesh y Métricas de Evaluación

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Autores: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Resumen

Los avances recientes en la generación de cabezas parlantes 3D impulsadas por voz han logrado un progreso significativo en la sincronización labial. Sin embargo, los modelos existentes aún tienen dificultades para capturar la alineación perceptiva entre las características variables del habla y los movimientos labiales correspondientes. En este trabajo, afirmamos que tres criterios —Sincronización Temporal, Legibilidad Labial y Expresividad— son cruciales para lograr movimientos labiales perceptualmente precisos. Motivados por nuestra hipótesis de que existe un espacio de representación deseable para cumplir con estos tres criterios, introducimos una representación sincronizada de voz-malla que captura correspondencias intrincadas entre las señales de voz y las mallas faciales 3D. Descubrimos que nuestra representación aprendida exhibe características deseables, y la integramos en modelos existentes como una pérdida perceptual para alinear mejor los movimientos labiales con el habla dada. Además, utilizamos esta representación como una métrica perceptual e introducimos otras dos métricas de sincronización labial basadas en principios físicos para evaluar qué tan bien las cabezas parlantes 3D generadas se alinean con estos tres criterios. Los experimentos muestran que entrenar modelos de generación de cabezas parlantes 3D con nuestra pérdida perceptual mejora significativamente los tres aspectos de la sincronización labial perceptualmente precisa. Los códigos y conjuntos de datos están disponibles en https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.