Progressi nella comprensione del parlato nei modelli linguistici con consapevolezza del parlato mediante GRPO

Advancing Speech Understanding in Speech-Aware Language Models with GRPO

September 21, 2025

Autori: Avishai Elmakies, Hagai Aronowitz, Nimrod Shabtay, Eli Schwartz, Ron Hoory, Avihu Dekel

cs.AI

Abstract

In questo articolo, presentiamo un metodo basato sull'ottimizzazione delle politiche relative ai gruppi (Group Relative Policy Optimization, GRPO) per l'addestramento di modelli linguistici di grandi dimensioni con consapevolezza del parlato (Speech-Aware Large Language Models, SALLMs) su compiti di comprensione del parlato in formato aperto, come il rispondere a domande parlate e la traduzione automatica del parlato. I SALLMs si sono dimostrati altamente efficaci per i compiti di comprensione del parlato. Il GRPO ha recentemente guadagnato popolarità per la sua efficienza nell'addestramento di LLMs, e lavori precedenti ne hanno esplorato l'applicazione ai SALLMs, principalmente in compiti a scelta multipla. Basandoci su questo, ci concentriamo su compiti in formato aperto che riflettono meglio le capacità generative dei modelli. Il nostro approccio sfrutta il GRPO con il BLEU come segnale di ricompensa per ottimizzare i SALLMs, e dimostriamo empiricamente che supera il fine-tuning supervisionato standard (SFT) su diverse metriche chiave. Infine, esploriamo il potenziale di incorporare campioni off-policy all'interno del GRPO per questi compiti, evidenziando percorsi per ulteriori miglioramenti e ricerche future.

English

In this paper, we introduce a Group Relative Policy Optimization (GRPO)-based method for training Speech-Aware Large Language Models (SALLMs) on open-format speech understanding tasks, such as Spoken Question Answering and Automatic Speech Translation. SALLMs have proven highly effective for speech understanding tasks. GRPO has recently gained traction for its efficiency in training LLMs, and prior work has explored its application to SALLMs, primarily in multiple-choice tasks. Building on this, we focus on open-format tasks that better reflect the generative abilities of the models. Our approach leverages GRPO with BLEU as the reward signal to optimize SALLMs, and we demonstrate empirically that it surpasses standard SFT across several key metrics. Finally, we explore the potential of incorporating off-policy samples within GRPO for these tasks, highlighting avenues for further improvement and further research.