REINA: Регуляризованная информационная потеря на основе энтропии для эффективного одновременного перевода речи

REINA: Regularized Entropy Information-Based Loss for Efficient Simultaneous Speech Translation

August 7, 2025

Авторы: Nameer Hirschkind, Joseph Liu, Mahesh Kumar Nandwana, Xiao Yu

cs.AI

Аннотация

Системы одновременного перевода речи (SimulST) обрабатывают аудиопоток в реальном времени, одновременно выводя переведённый текст или речь. Такие системы сталкиваются с серьёзной задачей балансировки между качеством перевода и задержкой. Мы предлагаем стратегию для оптимизации этого компромисса: ожидать большего объёма входных данных только в том случае, если это приносит полезную информацию. На основе этой стратегии мы представляем Regularized Entropy INformation Adaptation (REINA) — новый метод обучения адаптивной политики с использованием существующей модели перевода, не предназначенной для потоковой обработки. REINA выводится из принципов теории информации, и мы демонстрируем, что он помогает улучшить известную границу Парето в компромиссе между задержкой и качеством по сравнению с предыдущими работами. Используя REINA, мы обучаем модель SimulST для перевода с французского, испанского и немецкого языков на английский и обратно. Обучаясь только на открытых или синтетически сгенерированных данных, мы достигаем современных (SOTA) результатов для потоковых моделей сопоставимого размера. Мы также вводим метрику эффективности потоковой обработки, количественно показывая, что REINA улучшает компромисс между задержкой и качеством на величину до 21% по сравнению с предыдущими подходами, нормализованными относительно базовых показателей BLEU для не потоковых моделей.

English

Simultaneous Speech Translation (SimulST) systems stream in audio while simultaneously emitting translated text or speech. Such systems face the significant challenge of balancing translation quality and latency. We introduce a strategy to optimize this tradeoff: wait for more input only if you gain information by doing so. Based on this strategy, we present Regularized Entropy INformation Adaptation (REINA), a novel loss to train an adaptive policy using an existing non-streaming translation model. We derive REINA from information theory principles and show that REINA helps push the reported Pareto frontier of the latency/quality tradeoff over prior works. Utilizing REINA, we train a SimulST model on French, Spanish and German, both from and into English. Training on only open source or synthetically generated data, we achieve state-of-the-art (SOTA) streaming results for models of comparable size. We also introduce a metric for streaming efficiency, quantitatively showing REINA improves the latency/quality trade-off by as much as 21% compared to prior approaches, normalized against non-streaming baseline BLEU scores.