Omni-AVSR: Hacia un Reconocimiento de Voz Multimodal Unificado con Modelos de Lenguaje a Gran Escala

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

November 10, 2025

Autores: Umberto Cappellazzo, Xubo Liu, Pingchuan Ma, Stavros Petridis, Maja Pantic

cs.AI

Resumen

Los grandes modelos de lenguaje (LLM) han logrado recientemente resultados impresionantes en reconocimiento del habla a través de múltiples modalidades, incluyendo el Reconocimiento Auditivo del Habla (ASR), el Reconocimiento Visual del Habla (VSR) y el Reconocimiento Audio-Visual del Habla (AVSR). A pesar de este progreso, los enfoques actuales basados en LLM generalmente abordan cada tarea de forma independiente, entrenando modelos separados que incrementan el uso de recursos computacionales y de implementación, al tiempo que pierden posibles sinergias entre tareas. También dependen de una compresión de tokens a tasa fija, lo que restringe la flexibilidad para equilibrar la precisión con la eficiencia. Estas limitaciones subrayan la necesidad de un marco unificado que pueda soportar ASR, VSR y AVSR permitiendo simultáneamente una inferencia elástica. Con este fin, presentamos Omni-AVSR, un LLM audio-visual unificado que combina un entrenamiento eficiente multi-granular con una adaptación eficiente en parámetros. Específicamente, adaptamos el paradigma de aprendizaje de representaciones *matryoshka* para entrenar eficientemente a través de múltiples granularidades de audio y video, reduciendo el uso inherente de recursos de entrenamiento. Además, exploramos tres estrategias basadas en LoRA para adaptar el LLM base, equilibrando la especialización compartida y la específica por tarea. Los experimentos en LRS2 y LRS3 muestran que Omni-AVSR logra una precisión comparable o superior a los baselines de vanguardia mientras entrena un único modelo con un uso de recursos de entrenamiento e implementación sustancialmente menor. El modelo también mantiene su robustez bajo ruido acústico, y analizamos su comportamiento de escalabilidad a medida que aumenta el tamaño del LLM, proporcionando insights sobre la compensación entre rendimiento y eficiencia.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.