Geração de Cabeças Falantes 3D com Precisão Perceptiva: Novas Definições, Representação de Malha de Fala e Métricas de Avaliação

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Autores: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Resumo

Os avanços recentes na geração de cabeças falantes 3D impulsionadas por fala têm feito progressos significativos na sincronização labial. No entanto, os modelos existentes ainda enfrentam dificuldades para capturar o alinhamento perceptivo entre as características variáveis da fala e os movimentos labiais correspondentes. Neste trabalho, afirmamos que três critérios -- Sincronização Temporal, Legibilidade Labial e Expressividade -- são cruciais para alcançar movimentos labiais perceptualmente precisos. Motivados por nossa hipótese de que existe um espaço de representação desejável para atender a esses três critérios, introduzimos uma representação sincronizada de fala-malha que captura correspondências intrincadas entre sinais de fala e malhas faciais 3D. Descobrimos que nossa representação aprendida exibe características desejáveis, e a integramos em modelos existentes como uma perda perceptual para melhor alinhar os movimentos labiais à fala fornecida. Além disso, utilizamos essa representação como uma métrica perceptual e introduzimos duas outras métricas de sincronização labial fisicamente fundamentadas para avaliar o quão bem as cabeças falantes 3D geradas se alinham com esses três critérios. Experimentos mostram que o treinamento de modelos de geração de cabeças falantes 3D com nossa perda perceptual melhora significativamente todos os três aspectos da sincronização labial perceptualmente precisa. Códigos e conjuntos de dados estão disponíveis em https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.