Omni-AVSR: Naar een Verenigde Multimodale Spraakherkenning met Grote Taalmodellen

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

November 10, 2025

Auteurs: Umberto Cappellazzo, Xubo Liu, Pingchuan Ma, Stavros Petridis, Maja Pantic

cs.AI

Samenvatting

Grote taalmodel(len) (LLM's) hebben onlangs indrukwekkende resultaten behaald in spraakherkenning over meerdere modaliteiten, waaronder Auditieve Spraakherkenning (ASR), Visuele Spraakherkenning (VSR) en Audio-Visuele Spraakherkenning (AVSR). Ondanks deze vooruitgang paken huidige op LLM's gebaseerde benaderingen doorgaans elke taak onafhankelijk aan, waarbij afzonderlijke modellen worden getraind die het computationele en implementatiegebruik verhogen en mogelijke synergieën tussen taken mislopen. Ze vertrouwen ook op vaste compressie van tokens, wat de flexibiliteit beperkt om nauwkeurigheid en efficiëntie in evenwicht te brengen. Deze beperkingen benadrukken de behoefte aan een uniform kader dat ASR, VSR en AVSR kan ondersteunen en tegelijkertijd elastische inferentie mogelijk maakt. Hiertoe presenteren wij Omni-AVSR, een uniform audio-visueel LLM dat efficiënte training op meerdere granulariteiten combineert met parameter-efficiënte adaptatie. Specifiek passen we het matroesjka-representatieleerparadigma aan om efficiënt over meerdere auditieve en visuele granulariteiten te trainen, waardoor het inherente gebruik van trainingsbronnen wordt verminderd. Verder onderzoeken we drie op LoRA gebaseerde strategieën om het backbone-LLM aan te passen, waarbij gedeelde en taakspecifieke specialisatie in evenwicht worden gebracht. Experimenten op LRS2 en LRS3 tonen aan dat Omni-AVSR een vergelijkbare of superieure nauwkeurigheid bereikt in vergelijking met state-of-the-art basislijnen, terwijl een enkel model wordt getraind met aanzienlijk lager gebruik van trainings- en implementatiebronnen. Het model blijft ook robuust onder akoestische ruis, en we analyseren het schaalgedrag naarmate de LLM-grootte toeneemt, wat inzichten biedt in de afweging tussen prestaties en efficiëntie.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.