Hiërarchische Codec-diffusie voor video-naar-spraakgeneratie
Hierarchical Codec Diffusion for Video-to-Speech Generation
April 17, 2026
Auteurs: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan
cs.AI
Samenvatting
Video-to-Speech (VTS)-generatie heeft als doel spraak te synthetiseren uit een stille video zonder auditieve signalen. Bestaande VTS-methoden negeren echter de hiërarchische aard van spraak, die zich uitstrekt van grove sprekergebonden semantiek tot fijnmazige prosodische details. Deze omissie belemmert een directe afstemming tussen visuele en spraakkenmerken op specifieke hiërarchische niveaus tijdens kenmerkkoppeling. In dit artikel maken we gebruik van de hiërarchische structuur van op Residual Vector Quantization (RVQ) gebaseerde codecs en presenteren HiCoDiT, een nieuwe Hierarchical Codec Diffusion Transformer die de inherente hiërarchie van discrete spraaktokens benut om een sterke audiovisuele afstemming te bereiken. Concreet, omdat tokens op lager niveau grove sprekergebonden semantiek coderen en tokens op hoger niveau fijnmazige prosodie vastleggen, gebruikt HiCoDiT blokken op laag en hoog niveau om tokens op verschillende niveaus te genereren. De blokken op laag niveau conditioneren op lipgesynchroniseerde beweging en gezichtsidentiteit om sprekergebonden inhoud vast te leggen, terwijl de blokken op hoog niveau gezichtsuitdrukkingen gebruiken om prosodische dynamiek te moduleren. Ten slotte introduceren we, om effectievere conditionering van grof naar fijn mogelijk te maken, een dual-scale adaptive instance layer normalization die globaal vocale stijl gezamenlijk vastlegt via kanaalsgewijze normalisatie en lokale prosodische dynamiek via temporele normalisatie. Uitgebreide experimenten tonen aan dat HiCoDiT baseline-methoden overtreft in geloofwaardigheid en expressiviteit, wat het potentieel van discrete modellering voor VTS onderstreept. De code en spraakdemo zijn beide beschikbaar op https://github.com/Jiaxin-Ye/HiCoDiT.
English
Video-to-Speech (VTS) generation aims to synthesize speech from a silent video without auditory signals. However, existing VTS methods disregard the hierarchical nature of speech, which spans coarse speaker-aware semantics to fine-grained prosodic details. This oversight hinders direct alignment between visual and speech features at specific hierarchical levels during property matching. In this paper, leveraging the hierarchical structure of Residual Vector Quantization (RVQ)-based codec, we propose HiCoDiT, a novel Hierarchical Codec Diffusion Transformer that exploits the inherent hierarchy of discrete speech tokens to achieve strong audio-visual alignment. Specifically, since lower-level tokens encode coarse speaker-aware semantics and higher-level tokens capture fine-grained prosody, HiCoDiT employs low-level and high-level blocks to generate tokens at different levels. The low-level blocks condition on lip-synchronized motion and facial identity to capture speaker-aware content, while the high-level blocks use facial expression to modulate prosodic dynamics. Finally, to enable more effective coarse-to-fine conditioning, we propose a dual-scale adaptive instance layer normalization that jointly captures global vocal style through channel-wise normalization and local prosody dynamics through temporal-wise normalization. Extensive experiments demonstrate that HiCoDiT outperforms baselines in fidelity and expressiveness, highlighting the potential of discrete modelling for VTS. The code and speech demo are both available at https://github.com/Jiaxin-Ye/HiCoDiT.