Omni-AVSR: К унифицированному мультимодальному распознаванию речи с помощью больших языковых моделей

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

November 10, 2025

Авторы: Umberto Cappellazzo, Xubo Liu, Pingchuan Ma, Stavros Petridis, Maja Pantic

cs.AI

Аннотация

Крупные языковые модели (LLM) в последнее время демонстрируют впечатляющие результаты в распознавании речи в различных модальностях, включая аудиальное распознавание речи (ASR), визуальное распознавание речи (VSR) и аудиовизуальное распознавание речи (AVSR). Несмотря на этот прогресс, современные подходы на основе LLM обычно решают каждую задачу независимо, обучая отдельные модели, что увеличивает вычислительные затраты и ресурсы развертывания, упуская при этом потенциальные синергетические эффекты между задачами. Они также полагаются на сжатие токенов с фиксированной скоростью, что ограничивает гибкость в балансировке между точностью и эффективностью. Эти ограничения подчеркивают необходимость создания унифицированной системы, способной поддерживать ASR, VSR и AVSR при обеспечении эластичного вывода. С этой целью мы представляем Omni-AVSR — унифицированную аудиовизуальную LLM, которая сочетает эффективное многогранулярное обучение с параметрически-эффективной адаптацией. В частности, мы адаптируем парадигму обучения матрешечных представлений для эффективного обучения на множественных аудиальных и визуальных гранулярностях, снижая присущие ей ресурсные затраты на обучение. Кроме того, мы исследуем три стратегии адаптации базовой LLM на основе LoRA, балансируя между общей и задачно-специфической специализацией. Эксперименты на наборах данных LRS2 и LRS3 показывают, что Omni-AVSR достигает сопоставимой или превосходящей точности по сравнению с современными базовыми методами, обучая единственную модель при существенно более низких ресурсных затратах на обучение и развертывание. Модель также сохраняет устойчивость в условиях акустических шумов, а мы анализируем ее масштабируемость с увеличением размера LLM, предоставляя информацию о компромиссе между производительностью и эффективностью.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.