Развитие понимания речи в речевых языковых моделях с использованием GRPO

Advancing Speech Understanding in Speech-Aware Language Models with GRPO

September 21, 2025

Авторы: Avishai Elmakies, Hagai Aronowitz, Nimrod Shabtay, Eli Schwartz, Ron Hoory, Avihu Dekel

cs.AI

Аннотация

В данной статье мы представляем метод, основанный на Оптимизации Относительной Групповой Политики (GRPO), для обучения Речево-Ориентированных Больших Языковых Моделей (SALLMs) на задачах понимания речи в открытом формате, таких как Устный Ответ на Вопросы и Автоматический Перевод Речи. SALLMs доказали свою высокую эффективность в задачах понимания речи. GRPO недавно получила признание за свою эффективность в обучении больших языковых моделей, и предыдущие работы исследовали её применение к SALLMs, в основном в задачах с множественным выбором. Опираясь на это, мы сосредотачиваемся на задачах в открытом формате, которые лучше отражают генеративные способности моделей. Наш подход использует GRPO с BLEU в качестве сигнала вознаграждения для оптимизации SALLMs, и мы эмпирически демонстрируем, что он превосходит стандартное тонкое обучение (SFT) по нескольким ключевым метрикам. Наконец, мы исследуем потенциал включения внеполитических выборок в GRPO для этих задач, выделяя направления для дальнейшего улучшения и исследований.

English

In this paper, we introduce a Group Relative Policy Optimization (GRPO)-based method for training Speech-Aware Large Language Models (SALLMs) on open-format speech understanding tasks, such as Spoken Question Answering and Automatic Speech Translation. SALLMs have proven highly effective for speech understanding tasks. GRPO has recently gained traction for its efficiency in training LLMs, and prior work has explored its application to SALLMs, primarily in multiple-choice tasks. Building on this, we focus on open-format tasks that better reflect the generative abilities of the models. Our approach leverages GRPO with BLEU as the reward signal to optimize SALLMs, and we demonstrate empirically that it surpasses standard SFT across several key metrics. Finally, we explore the potential of incorporating off-policy samples within GRPO for these tasks, highlighting avenues for further improvement and further research.