Omni-AVSR: Rumo a um Sistema Unificado de Reconhecimento de Fala Multimodal com Grandes Modelos de Linguagem

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

November 10, 2025

Autores: Umberto Cappellazzo, Xubo Liu, Pingchuan Ma, Stavros Petridis, Maja Pantic

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) alcançaram recentemente resultados impressionantes no reconhecimento de fala em múltiplas modalidades, incluindo o Reconhecimento de Fala Auditivo (ASR), o Reconhecimento de Fala Visual (VSR) e o Reconhecimento de Fala Áudio-Visual (AVSR). Apesar deste progresso, as abordagens atuais baseadas em LLM normalmente tratam cada tarefa de forma independente, treinando modelos separados que aumentam o uso de recursos computacionais e de implantação, perdendo potenciais sinergias entre tarefas. Elas também dependem de compressão de tokens com taxa fixa, o que restringe a flexibilidade no equilíbrio entre precisão e eficiência. Estas limitações destacam a necessidade de uma estrutura unificada que possa suportar ASR, VSR e AVSR, permitindo simultaneamente inferência elástica. Para este fim, apresentamos o Omni-AVSR, um LLM áudio-visual unificado que combina treinamento eficiente multi-granular com adaptação com eficiência de parâmetros. Especificamente, adaptamos o paradigma de aprendizagem de representação *matryoshka* para treinar eficientemente em múltiplas granularidades de áudio e vídeo, reduzindo o uso inerente de recursos de treinamento. Além disso, exploramos três estratégias baseadas em LoRA para adaptar o LLM base, equilibrando especialização partilhada e específica por tarefa. Experiências nos conjuntos LRS2 e LRS3 mostram que o Omni-AVSR alcança uma precisão comparável ou superior às *baselines* state-of-the-art, enquanto treina um único modelo com um uso de recursos de treinamento e implantação substancialmente menor. O modelo também mantém robustez sob ruído acústico, e analisamos o seu comportamento de escalabilidade à medida que o tamanho do LLM aumenta, fornecendo insights sobre o compromisso (*trade-off*) entre desempenho e eficiência.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.