WHISTRESS: Обогащение транскрипций с помощью определения ударений в предложениях

WHISTRESS: Enriching Transcriptions with Sentence Stress Detection

May 25, 2025

Авторы: Iddo Yosha, Dorin Shteyman, Yossi Adi

cs.AI

Аннотация

Устная речь передает смысл не только через слова, но и через интонацию, эмоции и акценты. Смысловое ударение, то есть выделение определенных слов в предложении, играет ключевую роль в передаче намерений говорящего и широко изучается в лингвистике. В данной работе мы представляем WHISTRESS — подход, не требующий выравнивания, для улучшения систем транскрипции с возможностью обнаружения смыслового ударения. Для поддержки этой задачи мы предлагаем TINYSTRESS-15K — масштабируемые синтетические данные для обучения, созданные в полностью автоматизированном процессе. Мы обучаем WHISTRESS на TINYSTRESS-15K и сравниваем его с несколькими конкурентоспособными базовыми методами. Наши результаты показывают, что WHISTRESS превосходит существующие подходы, при этом не требуя дополнительных входных данных на этапах обучения или вывода. Примечательно, что, несмотря на обучение на синтетических данных, WHISTRESS демонстрирует сильную способность к обобщению в условиях нулевого сдвига на различных тестовых наборах. Страница проекта: https://pages.cs.huji.ac.il/adiyoss-lab/whistress.

English

Spoken language conveys meaning not only through words but also through intonation, emotion, and emphasis. Sentence stress, the emphasis placed on specific words within a sentence, is crucial for conveying speaker intent and has been extensively studied in linguistics. In this work, we introduce WHISTRESS, an alignment-free approach for enhancing transcription systems with sentence stress detection. To support this task, we propose TINYSTRESS-15K, a scalable, synthetic training data for the task of sentence stress detection which resulted from a fully automated dataset creation process. We train WHISTRESS on TINYSTRESS-15K and evaluate it against several competitive baselines. Our results show that WHISTRESS outperforms existing methods while requiring no additional input priors during training or inference. Notably, despite being trained on synthetic data, WHISTRESS demonstrates strong zero-shot generalization across diverse benchmarks. Project page: https://pages.cs.huji.ac.il/adiyoss-lab/whistress.