Omni-AVSR: Verso un Sistema Unificato di Riconoscimento Vocale Multimodale con Grandi Modelli Linguistici

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

November 10, 2025

Autori: Umberto Cappellazzo, Xubo Liu, Pingchuan Ma, Stavros Petridis, Maja Pantic

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno recentemente ottenuto risultati impressionanti nel riconoscimento del parlato attraverso molteplici modalità, inclusi il Riconoscimento Acustico del Parlato (ASR), il Riconoscimento Visivo del Parlato (VSR) e il Riconoscimento Audio-Visivo del Parlato (AVSR). Nonostante questi progressi, gli approcci attuali basati su LLM tipicamente affrontano ciascun compito in modo indipendente, addestrando modelli separati che aumentano l'utilizzo delle risorse computazionali e di deployment, perdendo al contempo potenziali sinergie tra i diversi compiti. Essi si basano inoltre su una compressione dei token a frequenza fissa, che limita la flessibilità nel bilanciare accuratezza ed efficienza. Queste limitazioni evidenziano la necessità di un framework unificato in grado di supportare ASR, VSR e AVSR, consentendo al contempo un'inferenza elastica. A tal fine, presentiamo Omni-AVSR, un LLM audio-visivo unificato che combina un addestramento multi-granularità efficiente con un adattamento efficiente in termini di parametri. Nello specifico, adattiamo il paradigma di apprendimento della rappresentazione *matryoshka* per addestrare efficientemente il modello su molteplici granularità audio e visive, riducendo l'intrinseco utilizzo di risorse di addestramento. Inoltre, esploriamo tre strategie basate su LoRA per adattare l'LLM di base, bilanciando specializzazione condivisa e specifica per compito. Esperimenti su LRS2 e LRS3 dimostrano che Omni-AVSR raggiunge un'accuratezza paragonabile o superiore ai baseline allo stato dell'arte, addestrando un unico modello con un utilizzo di risorse di addestramento e deployment sostanzialmente inferiore. Il modello rimane inoltre robusto in presenza di rumore acustico, e analizziamo il suo comportamento di scaling all'aumentare delle dimensioni dell'LLM, fornendo insight sul compromesso tra prestazioni ed efficienza.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.