Fortschritte im Sprachverständnis in sprachbewussten Sprachmodellen mit GRPO

Advancing Speech Understanding in Speech-Aware Language Models with GRPO

September 21, 2025

papers.authors: Avishai Elmakies, Hagai Aronowitz, Nimrod Shabtay, Eli Schwartz, Ron Hoory, Avihu Dekel

cs.AI

papers.abstract

In diesem Artikel stellen wir eine Methode vor, die auf der Group Relative Policy Optimization (GRPO) basiert und für das Training von Speech-Aware Large Language Models (SALLMs) für offene Sprachverständnisaufgaben wie gesprochene Frage-Antwort-Systeme und automatische Sprachübersetzung eingesetzt wird. SALLMs haben sich als äußerst effektiv für Sprachverständnisaufgaben erwiesen. GRPO hat in letzter Zeit aufgrund seiner Effizienz beim Training von LLMs an Bedeutung gewonnen, und frühere Arbeiten haben seine Anwendung auf SALLMs, hauptsächlich in Multiple-Choice-Aufgaben, untersucht. Aufbauend darauf konzentrieren wir uns auf offene Aufgabenformate, die die generativen Fähigkeiten der Modelle besser widerspiegeln. Unser Ansatz nutzt GRPO mit BLEU als Belohnungssignal zur Optimierung von SALLMs, und wir zeigen empirisch, dass dieser Ansatz das Standard-SFT (Supervised Fine-Tuning) in mehreren wichtigen Metriken übertrifft. Abschließend untersuchen wir das Potenzial der Einbindung von Off-Policy-Stichproben innerhalb von GRPO für diese Aufgaben und beleuchten damit Möglichkeiten für weitere Verbesserungen und zukünftige Forschung.

English

In this paper, we introduce a Group Relative Policy Optimization (GRPO)-based method for training Speech-Aware Large Language Models (SALLMs) on open-format speech understanding tasks, such as Spoken Question Answering and Automatic Speech Translation. SALLMs have proven highly effective for speech understanding tasks. GRPO has recently gained traction for its efficiency in training LLMs, and prior work has explored its application to SALLMs, primarily in multiple-choice tasks. Building on this, we focus on open-format tasks that better reflect the generative abilities of the models. Our approach leverages GRPO with BLEU as the reward signal to optimize SALLMs, and we demonstrate empirically that it surpasses standard SFT across several key metrics. Finally, we explore the potential of incorporating off-policy samples within GRPO for these tasks, highlighting avenues for further improvement and further research.