SimulU: Trainingsfreie Strategie für langformatige simultane Sprach-zu-Sprach-Übersetzung
SimulU: Training-free Policy for Long-form Simultaneous Speech-to-Speech Translation
March 11, 2026
Autoren: Amirbek Djanibekov, Luisa Bentivogli, Matteo Negri, Sara Papi
cs.AI
Zusammenfassung
Simultanübersetzung von Sprache zu Sprache (SimulS2S) ist entscheidend für Echtzeit-Mehrsprachenkommunikation und wird zunehmend in Meeting- und Streaming-Plattformen integriert. Dennoch wird SimulS2S in der Forschung kaum untersucht, wobei aktuelle Lösungen oft auf ressourcenintensive Trainingsverfahren angewiesen sind und mit kurzen, vorsegmentierten Äußerungen arbeiten, was eine Generalisierung auf kontinuierliche Sprache verhindert. Um diese Lücke zu schließen, schlagen wir SimulU vor, die erste trainingsfreie Strategie für langfristige SimulS2S. SimulU nutzt History-Management und Sprachausgabeselektionsstrategien, die die Cross-Attention in vortrainierten End-to-End-Modellen ausnutzen, um sowohl die Eingabeverlaufshistorie als auch die Ausgabegenerierung zu steuern. Evaluationen auf MuST-C über 8 Sprachen zeigen, dass SimulU eine bessere oder vergleichbare Qualitäts-Latenz-Abwägung gegenüber starken kaskadierten Modellen erreicht. Durch den Wegfall spezieller Trainingseinheiten eröffnet SimulU einen vielversprechenden Weg zu End-to-End-SimulS2S in realistischen, langfristigen Szenarien.
English
Simultaneous speech-to-speech translation (SimulS2S) is essential for real-time multilingual communication, with increasing integration into meeting and streaming platforms. Despite this, SimulS2S remains underexplored in research, where current solutions often rely on resource-intensive training procedures and operate on short-form, pre-segmented utterances, failing to generalize to continuous speech. To bridge this gap, we propose SimulU, the first training-free policy for long-form SimulS2S. SimulU adopts history management and speech output selection strategies that exploit cross-attention in pre-trained end-to-end models to regulate both input history and output generation. Evaluations on MuST-C across 8 languages show that SimulU achieves a better or comparable quality-latency trade-off against strong cascaded models. By eliminating the need for ad-hoc training, SimulU offers a promising path to end-to-end SimulS2S in realistic, long-form scenarios.