Codificação Hierárquica por Difusão para Geração de Fala a partir de Vídeo
Hierarchical Codec Diffusion for Video-to-Speech Generation
April 17, 2026
Autores: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan
cs.AI
Resumo
A geração de Vídeo-para-Fala (VTS) tem como objetivo sintetizar fala a partir de um vídeo silencioso, sem sinais auditivos. No entanto, os métodos VTS existentes ignoram a natureza hierárquica da fala, que abrange desde semântica de baixo nível, consciente do locutor, até detalhes prosódicos de alto nível. Esta omissão dificulta o alinhamento direto entre características visuais e de fala em níveis hierárquicos específicos durante a correspondência de propriedades. Neste artigo, aproveitando a estrutura hierárquica de codecs baseados em Quantização Vetorial Residual (RVQ), propomos o HiCoDiT, um novo *Transformer* de Difusão de Codec Hierárquico que explora a hierarquia inerente dos *tokens* de fala discretos para alcançar um forte alinhamento áudio-visual. Especificamente, uma vez que os *tokens* de nível inferior codificam semântica de baixo nível consciente do locutor e os *tokens* de nível superior capturam prosódia de alto nível, o HiCoDiT emprega blocos de baixo e alto nível para gerar *tokens* em diferentes níveis. Os blocos de baixo nível condicionam-se no movimento sincronizado com os lábios e na identidade facial para capturar conteúdo consciente do locutor, enquanto os blocos de alto nível usam a expressão facial para modular a dinâmica prosódica. Finalmente, para permitir um condicionamento mais eficiente do tipo *coarse-to-fine*, propomos uma normalização de camada por instância adaptativa de dupla escala, que captura conjuntamente o estilo vocal global através da normalização por canal e a dinâmica prosódica local através da normalização por temporal. Experimentos extensivos demonstram que o HiCoDiT supera as *baselines* em fidelidade e expressividade, destacando o potencial da modelação discreta para VTS. O código e a demonstração de fala estão disponíveis em https://github.com/Jiaxin-Ye/HiCoDiT.
English
Video-to-Speech (VTS) generation aims to synthesize speech from a silent video without auditory signals. However, existing VTS methods disregard the hierarchical nature of speech, which spans coarse speaker-aware semantics to fine-grained prosodic details. This oversight hinders direct alignment between visual and speech features at specific hierarchical levels during property matching. In this paper, leveraging the hierarchical structure of Residual Vector Quantization (RVQ)-based codec, we propose HiCoDiT, a novel Hierarchical Codec Diffusion Transformer that exploits the inherent hierarchy of discrete speech tokens to achieve strong audio-visual alignment. Specifically, since lower-level tokens encode coarse speaker-aware semantics and higher-level tokens capture fine-grained prosody, HiCoDiT employs low-level and high-level blocks to generate tokens at different levels. The low-level blocks condition on lip-synchronized motion and facial identity to capture speaker-aware content, while the high-level blocks use facial expression to modulate prosodic dynamics. Finally, to enable more effective coarse-to-fine conditioning, we propose a dual-scale adaptive instance layer normalization that jointly captures global vocal style through channel-wise normalization and local prosody dynamics through temporal-wise normalization. Extensive experiments demonstrate that HiCoDiT outperforms baselines in fidelity and expressiveness, highlighting the potential of discrete modelling for VTS. The code and speech demo are both available at https://github.com/Jiaxin-Ye/HiCoDiT.