Насколько "реальным" является ваша система одновременного перевода речи в текст в реальном времени?

How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

December 24, 2024

Авторы: Sara Papi, Peter Polak, Ondřej Bojar, Dominik Macháček

cs.AI

Аннотация

Система одновременного перевода речи в текст (SimulST) переводит речь на исходном языке в текст на целевом языке параллельно с выступлением диктора, обеспечивая низкую задержку для лучшего понимания пользователем. Несмотря на то что ее предполагаемое применение охватывает неограниченную речь, большинство исследований сосредоточены на человеческой речи, предварительно разбитой на сегменты, что упрощает задачу и игнорирует значительные вызовы. Узкое фокусирование, в сочетании с широко распространенными терминологическими несоответствиями, ограничивает применимость результатов исследований к реальным приложениям, в конечном итоге замедляя прогресс в области. Наш обширный обзор литературы из 110 статей не только выявляет эти критические проблемы в текущих исследованиях, но также служит основой для наших ключевых вкладов. Мы 1) определяем этапы и основные компоненты системы SimulST, предлагая стандартизированную терминологию и таксономию; 2) проводим тщательный анализ тенденций в сообществе и 3) предлагаем конкретные рекомендации и перспективы для преодоления пробелов в существующей литературе, начиная от оценочных критериев до архитектур систем, для продвижения области к более реалистичным и эффективным решениям SimulST.

English

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker's speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.