Omni-AVSR: Auf dem Weg zu einer vereinheitlichten multimodalen Spracherkennung mit Large Language Models

papers.abstract

Große Sprachmodelle (LLMs) haben kürzlich beeindruckende Ergebnisse in der Spracherkennung über mehrere Modalitäten hinweg erzielt, einschließlich auditiver Spracherkennung (ASR), visueller Spracherkennung (VSR) und audiovisueller Spracherkennung (AVSR). Trotz dieser Fortschritte behandeln aktuelle LLM-basierte Ansätze typischerweise jede Aufgabe unabhängig, trainieren separate Modelle, die den Rechen- und Bereitstellungsressourcenverbrauch erhöhen und dabei potenzielle übergreifende Synergien verpassen. Sie verlassen sich zudem auf eine Komprimierung mit festen Token-Raten, was die Flexibilität bei der Abwägung von Genauigkeit und Effizienz einschränkt. Diese Einschränkungen unterstreichen die Notwendigkeit eines einheitlichen Frameworks, das ASR, VSR und AVSR unterstützen und elastische Inferenz ermöglichen kann. Zu diesem Zweck präsentieren wir Omni-AVSR, ein vereinheitlichtes audiovisuelles LLM, das effizientes Training mit multipler Granularität mit parameter-effizienter Adaptierung kombiniert. Konkret adaptieren wir das Matrjoschka-Repräsentationslernparadigma, um effizient über mehrere auditive und visuelle Granularitäten hinweg zu trainieren und dessen inhärenten Trainingsressourcenverbrauch zu reduzieren. Darüber hinaus untersuchen wir drei LoRA-basierte Strategien zur Adaptierung des Backbone-LLMs, die gemeinsame und aufgabenspezifische Spezialisierung in Balance halten. Experimente auf LRS2 und LRS3 zeigen, dass Omni-AVSR eine vergleichbare oder überlegene Genauigkeit gegenüber state-of-the-art Baseline-Modellen erreicht, während ein einzelnes Modell mit erheblich geringerem Trainings- und Bereitstellungsressourcenverbrauch trainiert wird. Das Modell bleibt zudem robust unter akustischem Rauschen, und wir analysieren sein Skalierungsverhalten mit zunehmender LLM-Größe, was Einblicke in den Kompromiss zwischen Leistung und Effizienz bietet.

English

Large language models (LLMs) have recently achieved impressive results in speech recognition across multiple modalities, including Auditory Speech Recognition (ASR), Visual Speech Recognition (VSR), and Audio-Visual Speech Recognition (AVSR). Despite this progress, current LLM-based approaches typically address each task independently, training separate models that raise computational and deployment resource use while missing potential cross-task synergies. They also rely on fixed-rate token compression, which restricts flexibility in balancing accuracy with efficiency. These limitations highlight the need for a unified framework that can support ASR, VSR, and AVSR while enabling elastic inference. To this end, we present Omni-AVSR, a unified audio-visual LLM that combines efficient multi-granularity training with parameter-efficient adaptation. Specifically, we adapt the matryoshka representation learning paradigm to efficiently train across multiple audio and visual granularities, reducing its inherent training resource use. Furthermore, we explore three LoRA-based strategies for adapting the backbone LLM, balancing shared and task-specific specialization. Experiments on LRS2 and LRS3 show that Omni-AVSR achieves comparable or superior accuracy to state-of-the-art baselines while training a single model at substantially lower training and deployment resource use. The model also remains robust under acoustic noise, and we analyze its scaling behavior as LLM size increases, providing insights into the trade-off between performance and efficiency.

Omni-AVSR: Auf dem Weg zu einer vereinheitlichten multimodalen Spracherkennung mit Large Language Models

Omni-AVSR: Towards Unified Multimodal Speech Recognition with Large Language Models

papers.abstract

Support