Het bevorderen van spraakbegrip in spraakbewuste taalmodelen met GRPO

Advancing Speech Understanding in Speech-Aware Language Models with GRPO

September 21, 2025

Auteurs: Avishai Elmakies, Hagai Aronowitz, Nimrod Shabtay, Eli Schwartz, Ron Hoory, Avihu Dekel

cs.AI

Samenvatting

In dit artikel introduceren we een methode gebaseerd op Group Relative Policy Optimization (GRPO) voor het trainen van Speech-Aware Large Language Models (SALLMs) op open-formaat spraakbegriptaken, zoals Gesproken Vraagbeantwoording en Automatische Spraakvertaling. SALLMs hebben zich zeer effectief bewezen voor spraakbegriptaken. GRPO heeft recentelijk aan populariteit gewonnen vanwege de efficiëntie bij het trainen van LLMs, en eerder onderzoek heeft de toepassing ervan op SALLMs verkend, voornamelijk in meerkeuzetaken. Hierop voortbouwend, richten we ons op open-formaattaken die beter de generatieve capaciteiten van de modellen weerspiegelen. Onze aanpak maakt gebruik van GRPO met BLEU als beloningssignaal om SALLMs te optimaliseren, en we tonen empirisch aan dat het standaard SFT overtreft op verschillende belangrijke metrieken. Tot slot onderzoeken we de mogelijkheid om off-policy samples binnen GRPO te integreren voor deze taken, waarbij we mogelijkheden voor verdere verbetering en onderzoek belichten.

English

In this paper, we introduce a Group Relative Policy Optimization (GRPO)-based method for training Speech-Aware Large Language Models (SALLMs) on open-format speech understanding tasks, such as Spoken Question Answering and Automatic Speech Translation. SALLMs have proven highly effective for speech understanding tasks. GRPO has recently gained traction for its efficiency in training LLMs, and prior work has explored its application to SALLMs, primarily in multiple-choice tasks. Building on this, we focus on open-format tasks that better reflect the generative abilities of the models. Our approach leverages GRPO with BLEU as the reward signal to optimize SALLMs, and we demonstrate empirically that it surpasses standard SFT across several key metrics. Finally, we explore the potential of incorporating off-policy samples within GRPO for these tasks, highlighting avenues for further improvement and further research.