VStyle : Un benchmark pour l'adaptation de style vocal avec des instructions parlées

papers.abstract

Les modèles de langage parlés (SLMs) sont apparus comme un paradigme unifié pour la compréhension et la génération de la parole, permettant une interaction naturelle entre l'homme et la machine. Cependant, bien que la plupart des progrès se soient concentrés sur la précision sémantique et le suivi des instructions, la capacité des SLMs à adapter leur style d'élocution en fonction d'instructions parlées a reçu peu d'attention. Nous introduisons l'Adaptation de Style Vocal (VSA), une nouvelle tâche qui examine si les SLMs peuvent modifier leur style d'élocution, tel que le timbre, la prosodie ou la persona, en suivant des commandes parlées en langage naturel. Pour étudier cette tâche, nous présentons VStyle, un benchmark bilingue (chinois et anglais) couvrant quatre catégories de génération de parole : les attributs acoustiques, les instructions en langage naturel, le jeu de rôle et l'empathie implicite. Nous introduisons également le cadre Large Audio Language Model as a Judge (LALM as a Judge), qui évalue progressivement les sorties en termes de fidélité textuelle, d'adhésion au style et de naturel, garantissant une évaluation reproductible et objective. Les expériences sur les systèmes commerciaux et les SLMs open source démontrent que les modèles actuels présentent des limites claires dans l'adaptation contrôlée du style, soulignant à la fois la nouveauté et le défi de cette tâche. En publiant VStyle et sa boîte à outils d'évaluation, nous visons à fournir à la communauté une base pour faire progresser l'interaction parlée centrée sur l'homme. Le jeu de données et le code sont disponibles publiquement à l'adresse suivante : https://junzhan2000.github.io/VStyle.github.io/{page d'accueil du projet}.

English

Spoken language models (SLMs) have emerged as a unified paradigm for speech understanding and generation, enabling natural human machine interaction. However, while most progress has focused on semantic accuracy and instruction following, the ability of SLMs to adapt their speaking style based on spoken instructions has received limited attention. We introduce Voice Style Adaptation (VSA), a new task that examines whether SLMs can modify their speaking style, such as timbre, prosody, or persona following natural language spoken commands. To study this task, we present VStyle, a bilingual (Chinese & English) benchmark covering four categories of speech generation: acoustic attributes, natural language instruction, role play, and implicit empathy. We also introduce the Large Audio Language Model as a Judge (LALM as a Judge) framework, which progressively evaluates outputs along textual faithfulness, style adherence, and naturalness, ensuring reproducible and objective assessment. Experiments on commercial systems and open source SLMs demonstrate that current models face clear limitations in controllable style adaptation, highlighting both the novelty and challenge of this task. By releasing VStyle and its evaluation toolkit, we aim to provide the community with a foundation for advancing human centered spoken interaction. The dataset and code are publicly available at https://junzhan2000.github.io/VStyle.github.io/{project's homepage}.

VStyle : Un benchmark pour l'adaptation de style vocal avec des instructions parlées

VStyle: A Benchmark for Voice Style Adaptation with Spoken Instructions

papers.abstract

Support