WHISTRESS : Enrichissement des transcriptions par la détection de l'accentuation phrastique

WHISTRESS: Enriching Transcriptions with Sentence Stress Detection

May 25, 2025

Auteurs: Iddo Yosha, Dorin Shteyman, Yossi Adi

cs.AI

Résumé

Le langage parlé transmet du sens non seulement à travers les mots, mais aussi par l'intonation, l'émotion et l'emphase. L'accentuation phrastique, c'est-à-dire l'emphase placée sur des mots spécifiques dans une phrase, est cruciale pour transmettre l'intention du locuteur et a été largement étudiée en linguistique. Dans ce travail, nous présentons WHISTRESS, une approche sans alignement pour améliorer les systèmes de transcription avec la détection de l'accentuation phrastique. Pour soutenir cette tâche, nous proposons TINYSTRESS-15K, un ensemble de données d'entraînement synthétique et évolutif pour la détection de l'accentuation phrastique, issu d'un processus entièrement automatisé de création de données. Nous entraînons WHISTRESS sur TINYSTRESS-15K et l'évaluons par rapport à plusieurs bases de référence compétitives. Nos résultats montrent que WHISTRESS surpasse les méthodes existantes tout en ne nécessitant aucun a priori supplémentaire pendant l'entraînement ou l'inférence. Notamment, bien qu'entraîné sur des données synthétiques, WHISTRESS démontre une forte généralisation zero-shot sur divers benchmarks. Page du projet : https://pages.cs.huji.ac.il/adiyoss-lab/whistress.

English

Spoken language conveys meaning not only through words but also through intonation, emotion, and emphasis. Sentence stress, the emphasis placed on specific words within a sentence, is crucial for conveying speaker intent and has been extensively studied in linguistics. In this work, we introduce WHISTRESS, an alignment-free approach for enhancing transcription systems with sentence stress detection. To support this task, we propose TINYSTRESS-15K, a scalable, synthetic training data for the task of sentence stress detection which resulted from a fully automated dataset creation process. We train WHISTRESS on TINYSTRESS-15K and evaluate it against several competitive baselines. Our results show that WHISTRESS outperforms existing methods while requiring no additional input priors during training or inference. Notably, despite being trained on synthetic data, WHISTRESS demonstrates strong zero-shot generalization across diverse benchmarks. Project page: https://pages.cs.huji.ac.il/adiyoss-lab/whistress.