Генерация реалистичных 3D говорящих голов: новые определения, представление речи в виде сетки и метрики оценки

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Авторы: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Аннотация

Последние достижения в области генерации трехмерных говорящих голов на основе речи позволили добиться значительного прогресса в синхронизации губ. Однако существующие модели по-прежнему испытывают трудности с восприятием соответствия между различными характеристиками речи и соответствующими движениями губ. В данной работе мы утверждаем, что три критерия — временная синхронизация, читаемость губ и выразительность — имеют решающее значение для достижения воспринимаемо точных движений губ. Вдохновленные нашей гипотезой о существовании желаемого пространства представлений, удовлетворяющего этим трем критериям, мы вводим синхронизированное представление "речь-меш", которое фиксирует сложные соответствия между речевыми сигналами и трехмерными моделями лица. Мы обнаружили, что наше обученное представление демонстрирует желаемые характеристики, и интегрируем его в существующие модели в качестве перцептуального потерь для лучшего согласования движений губ с заданной речью. Кроме того, мы используем это представление как перцептуальную метрику и вводим две другие физически обоснованные метрики синхронизации губ, чтобы оценить, насколько хорошо сгенерированные трехмерные говорящие головы соответствуют этим трем критериям. Эксперименты показывают, что обучение моделей генерации трехмерных говорящих голов с использованием нашего перцептуального потерь значительно улучшает все три аспекта воспринимаемо точной синхронизации губ. Коды и наборы данных доступны по адресу https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.