SimulU : Stratégie sans entraînement pour la traduction simultanée parole-parole de longs discours
SimulU: Training-free Policy for Long-form Simultaneous Speech-to-Speech Translation
March 11, 2026
Auteurs: Amirbek Djanibekov, Luisa Bentivogli, Matteo Negri, Sara Papi
cs.AI
Résumé
La traduction parole-parole simultanée (SimulS2S) est essentielle pour la communication multilingue en temps réel et son intégration dans les plateformes de réunion et de streaming ne cesse de croître. Malgré cela, la recherche sur la SimulS2S reste peu explorée, les solutions actuelles reposant souvent sur des procédures d'entraînement gourmandes en ressources et opérant sur des énoncés courts et pré-segmentés, ce qui les empêche de généraliser à la parole continue. Pour combler cette lacune, nous proposons SimulU, la première stratégie sans entraînement pour la SimulS2S de long format. SimulU adopte des stratégies de gestion de l'historique et de sélection de la parole de sortie qui exploitent l'attention croisée dans les modèles de bout en bout pré-entraînés pour réguler à la fois l'historique d'entrée et la génération de sortie. Les évaluations sur MuST-C dans 8 langues montrent que SimulU atteint un compromis qualité-latence meilleur ou comparable à celui de modèles en cascade performants. En éliminant le besoin d'un entraînement spécifique, SimulU ouvre une voie prometteuse vers la SimulS2S de bout en bout dans des scénarios réalistes et de long format.
English
Simultaneous speech-to-speech translation (SimulS2S) is essential for real-time multilingual communication, with increasing integration into meeting and streaming platforms. Despite this, SimulS2S remains underexplored in research, where current solutions often rely on resource-intensive training procedures and operate on short-form, pre-segmented utterances, failing to generalize to continuous speech. To bridge this gap, we propose SimulU, the first training-free policy for long-form SimulS2S. SimulU adopts history management and speech output selection strategies that exploit cross-attention in pre-trained end-to-end models to regulate both input history and output generation. Evaluations on MuST-C across 8 languages show that SimulU achieves a better or comparable quality-latency trade-off against strong cascaded models. By eliminating the need for ad-hoc training, SimulU offers a promising path to end-to-end SimulS2S in realistic, long-form scenarios.