Omni-AVSR : Vers une reconnaissance vocale multimodale unifiée avec les grands modèles de langage

papers.abstract

Les grands modèles de langage (LLM) ont récemment obtenu des résultats impressionnants en reconnaissance de la parole à travers de multiples modalités, incluant la reconnaissance auditive de la parole (ASR), la reconnaissance visuelle de la parole (VSR) et la reconnaissance audio-visuelle de la parole (AVSR). Malgré ces progrès, les approches actuelles basées sur les LLM traitent généralement chaque tâche indépendamment, entraînant des modèles distincts qui augmentent l'utilisation des ressources computationnelles et de déploiement tout en négligeant les synergies potentielles entre les tâches. Elles reposent également sur une compression de tokens à débit fixe, ce qui limite la flexibilité pour équilibrer précision et efficacité. Ces limitations soulignent la nécessité d'un cadre unifié capable de prendre en charge l'ASR, la VSR et l'AVSR tout en permettant une inférence élastique. Dans cette optique, nous présentons Omni-AVSR, un LLM audio-visuel unifié qui combine un entraînement multi-granularité efficace avec une adaptation paramétriquement efficiente. Plus précisément, nous adaptons le paradigme d'apprentissage de représentations matriochka pour entraîner efficacement le modèle à travers de multiples granularités audio et visuelles, réduisant ainsi l'utilisation inhérente des ressources d'entraînement. De plus, nous explorons trois stratégies basées sur LoRA pour adapter le LLM de base, équilibrant spécialisation partagée et spécifique aux tâches. Les expériences sur LRS2 et LRS3 montrent qu'Omni-AVSR atteint une précision comparable ou supérieure aux meilleures méthodes de référence tout en n'entraînant qu'un seul modèle avec une utilisation substantiellement réduite des ressources d'entraînement et de déploiement. Le modèle demeure également robuste face au bruit acoustique, et nous analysons son comportement de mise à l'échelle avec l'augmentation de la taille du LLM, fournissant des insights sur le compromis entre performance et efficacité.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.

Omni-AVSR : Vers une reconnaissance vocale multimodale unifiée avec les grands modèles de langage

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

papers.abstract

Support