REINA: Regularisierter Entropie-Informations-basierter Verlust für effiziente simultane Sprachübersetzung

REINA: Regularized Entropy Information-Based Loss for Efficient Simultaneous Speech Translation

August 7, 2025

papers.authors: Nameer Hirschkind, Joseph Liu, Mahesh Kumar Nandwana, Xiao Yu

cs.AI

papers.abstract

Simultane Sprachübersetzungssysteme (SimulST) verarbeiten Audiodaten in Echtzeit und geben gleichzeitig übersetzten Text oder Sprache aus. Solche Systeme stehen vor der erheblichen Herausforderung, die Übersetzungsqualität und die Latenzzeit in Einklang zu bringen. Wir stellen eine Strategie vor, um diesen Kompromiss zu optimieren: Warte nur dann auf weitere Eingaben, wenn dadurch zusätzliche Informationen gewonnen werden. Basierend auf dieser Strategie präsentieren wir Regularized Entropy INformation Adaptation (REINA), eine neuartige Verlustfunktion zur Schulung einer adaptiven Strategie unter Verwendung eines bestehenden nicht-streaming Übersetzungsmodells. REINA leiten wir aus Prinzipien der Informationstheorie ab und zeigen, dass REINA die berichtete Pareto-Grenze des Latenz/Qualitäts-Kompromisses im Vergleich zu früheren Arbeiten verbessert. Mit REINA trainieren wir ein SimulST-Modell für Französisch, Spanisch und Deutsch, sowohl aus als auch ins Englische. Durch das Training ausschließlich mit Open-Source- oder synthetisch generierten Daten erreichen wir state-of-the-art (SOTA) Streaming-Ergebnisse für Modelle vergleichbarer Größe. Wir führen zudem eine Metrik für die Streaming-Effizienz ein, die quantitativ zeigt, dass REINA den Latenz/Qualitäts-Kompromiss um bis zu 21 % im Vergleich zu früheren Ansätzen verbessert, normalisiert anhand der BLEU-Werte eines nicht-streaming Basismodells.

English

Simultaneous Speech Translation (SimulST) systems stream in audio while simultaneously emitting translated text or speech. Such systems face the significant challenge of balancing translation quality and latency. We introduce a strategy to optimize this tradeoff: wait for more input only if you gain information by doing so. Based on this strategy, we present Regularized Entropy INformation Adaptation (REINA), a novel loss to train an adaptive policy using an existing non-streaming translation model. We derive REINA from information theory principles and show that REINA helps push the reported Pareto frontier of the latency/quality tradeoff over prior works. Utilizing REINA, we train a SimulST model on French, Spanish and German, both from and into English. Training on only open source or synthetically generated data, we achieve state-of-the-art (SOTA) streaming results for models of comparable size. We also introduce a metric for streaming efficiency, quantitatively showing REINA improves the latency/quality trade-off by as much as 21% compared to prior approaches, normalized against non-streaming baseline BLEU scores.