VStyle: Бенчмарк для адаптации голосового стиля с использованием устных инструкций

VStyle: A Benchmark for Voice Style Adaptation with Spoken Instructions

September 9, 2025

Авторы: Jun Zhan, Mingyang Han, Yuxuan Xie, Chen Wang, Dong Zhang, Kexin Huang, Haoxiang Shi, DongXiao Wang, Tengtao Song, Qinyuan Cheng, Shimin Li, Jun Song, Xipeng Qiu, Bo Zheng

cs.AI

Аннотация

Модели разговорного языка (Spoken Language Models, SLMs) стали унифицированной парадигмой для понимания и генерации речи, обеспечивая естественное взаимодействие человека с машиной. Однако, хотя большая часть прогресса была сосредоточена на семантической точности и выполнении инструкций, способность SLM адаптировать стиль речи на основе устных команд оставалась малоизученной. Мы представляем задачу адаптации голосового стиля (Voice Style Adaptation, VSA), которая исследует, могут ли SLM изменять такие аспекты речи, как тембр, просодия или персона, следуя устным командам на естественном языке. Для изучения этой задачи мы представляем VStyle — двуязычный (китайский и английский) бенчмарк, охватывающий четыре категории генерации речи: акустические атрибуты, инструкции на естественном языке, ролевые игры и скрытую эмпатию. Мы также вводим фреймворк Large Audio Language Model as a Judge (LALM as a Judge), который последовательно оценивает выходные данные по критериям текстовой точности, соответствия стилю и естественности, обеспечивая воспроизводимую и объективную оценку. Эксперименты с коммерческими системами и открытыми SLM демонстрируют, что текущие модели имеют явные ограничения в управляемой адаптации стиля, подчеркивая новизну и сложность этой задачи. Публикуя VStyle и набор инструментов для его оценки, мы стремимся предоставить сообществу основу для продвижения ориентированного на человека разговорного взаимодействия. Набор данных и код доступны по адресу: https://junzhan2000.github.io/VStyle.github.io/{страница проекта}.

English

Spoken language models (SLMs) have emerged as a unified paradigm for speech understanding and generation, enabling natural human machine interaction. However, while most progress has focused on semantic accuracy and instruction following, the ability of SLMs to adapt their speaking style based on spoken instructions has received limited attention. We introduce Voice Style Adaptation (VSA), a new task that examines whether SLMs can modify their speaking style, such as timbre, prosody, or persona following natural language spoken commands. To study this task, we present VStyle, a bilingual (Chinese & English) benchmark covering four categories of speech generation: acoustic attributes, natural language instruction, role play, and implicit empathy. We also introduce the Large Audio Language Model as a Judge (LALM as a Judge) framework, which progressively evaluates outputs along textual faithfulness, style adherence, and naturalness, ensuring reproducible and objective assessment. Experiments on commercial systems and open source SLMs demonstrate that current models face clear limitations in controllable style adaptation, highlighting both the novelty and challenge of this task. By releasing VStyle and its evaluation toolkit, we aim to provide the community with a foundation for advancing human centered spoken interaction. The dataset and code are publicly available at https://junzhan2000.github.io/VStyle.github.io/{project's homepage}.