StressTest: Ваша языковая модель справится со стрессом?

StressTest: Can YOUR Speech LM Handle the Stress?

May 28, 2025

Авторы: Iddo Yosha, Gallil Maimon, Yossi Adi

cs.AI

Аннотация

Ударение в предложении относится к акцентированию определенных слов в устной речи для выделения или противопоставления идеи, либо для введения новой информации. Оно часто используется для подразумевания скрытого намерения, которое не выражено явно. Последние достижения в речевых языковых моделях (SLM) позволили напрямую обрабатывать аудио, что дает моделям возможность обходить транскрипцию и использовать всю полноту речевого сигнала для выполнения задач, таких как ответы на устные вопросы. Несмотря на ключевую роль ударения в формировании смысла и намерений говорящего, оно остается в значительной степени упущенным при оценке и разработке таких моделей. В данной работе мы устраняем этот пробел, представляя StressTest — эталонный тест, специально разработанный для оценки способности модели различать интерпретации устных предложений на основе паттерна ударения. Мы оцениваем производительность нескольких ведущих SLM и обнаруживаем, что, несмотря на их общие возможности, они плохо справляются с такими задачами. Чтобы преодолеть это ограничение, мы предлагаем новый подход к генерации синтетических данных и создаем Stress17k — обучающий набор, который моделирует изменение смысла, подразумеваемого вариациями ударения. Затем мы эмпирически показываем, что оптимизация моделей с использованием этого синтетического набора данных хорошо согласуется с реальными аудиозаписями и позволяет эффективно дообучать SLM. Результаты показывают, что наша дообученная модель, StresSLM, значительно превосходит существующие модели как в задачах анализа ударения в предложениях, так и в задачах его обнаружения. Код, модели, данные и аудиообразцы доступны по адресу: pages.cs.huji.ac.il/adiyoss-lab/stresstest.

English

Sentence stress refers to emphasis, placed on specific words within a spoken utterance to highlight or contrast an idea, or to introduce new information. It is often used to imply an underlying intention that is not explicitly stated. Recent advances in speech-aware language models (SLMs) have enabled direct processing of audio, allowing models to bypass transcription and access the full richness of the speech signal and perform audio reasoning tasks such as spoken question answering. Despite the crucial role of sentence stress in shaping meaning and speaker intent, it remains largely overlooked in evaluation and development of such models. In this work, we address this gap by introducing StressTest, a benchmark specifically designed to evaluate a model's ability to distinguish between interpretations of spoken sentences based on the stress pattern. We assess the performance of several leading SLMs and find that, despite their overall capabilities, they perform poorly on such tasks. To overcome this limitation, we propose a novel synthetic data generation pipeline, and create Stress17k, a training set that simulates change of meaning implied by stress variation. Then, we empirically show that optimizing models with this synthetic dataset aligns well with real-world recordings and enables effective finetuning of SLMs. Results suggest, that our finetuned model, StresSLM, significantly outperforms existing models on both sentence stress reasoning and detection tasks. Code, models, data, and audio samples - pages.cs.huji.ac.il/adiyoss-lab/stresstest.