Skalierung und Verbesserung von LLM-basiertem AVSR: Ein Ansatz mit spärlicher Mischung von Projektoren

Scaling and Enhancing LLM-based AVSR: A Sparse Mixture of Projectors Approach

May 20, 2025

Autoren: Umberto Cappellazzo, Minsu Kim, Stavros Petridis, Daniele Falavigna, Alessio Brutti

cs.AI

Zusammenfassung

Audio-Visual Speech Recognition (AVSR) erhöht die Robustheit in lauten Umgebungen durch die Integration visueller Hinweise. Während neuere Fortschritte Large Language Models (LLMs) in AVSR integrieren, behindern deren hohe Rechenkosten den Einsatz in ressourcenbeschränkten Umgebungen. Um dies zu adressieren, schlagen wir Llama-SMoP vor, ein effizientes Multimodales LLM, das ein Sparse Mixture of Projectors (SMoP)-Modul verwendet, um die Modellkapazität zu skalieren, ohne die Inferenzkosten zu erhöhen. Durch die Einbindung von spärlich geschalteten Mixture-of-Experts (MoE)-Projektoren ermöglicht Llama-SMoP die Verwendung kleinerer LLMs bei gleichbleibend starker Leistung. Wir untersuchen drei SMoP-Konfigurationen und zeigen, dass Llama-SMoP DEDR (Disjoint-Experts, Disjoint-Routers), das modalitätsspezifische Router und Experten verwendet, eine überlegene Leistung bei ASR-, VSR- und AVSR-Aufgaben erzielt. Ablationsstudien bestätigen seine Effektivität in Bezug auf Expertenaktivierung, Skalierbarkeit und Rauschrobustheit.

English

Audio-Visual Speech Recognition (AVSR) enhances robustness in noisy environments by integrating visual cues. While recent advances integrate Large Language Models (LLMs) into AVSR, their high computational cost hinders deployment in resource-constrained settings. To address this, we propose Llama-SMoP, an efficient Multimodal LLM that employs a Sparse Mixture of Projectors (SMoP) module to scale model capacity without increasing inference costs. By incorporating sparsely-gated mixture-of-experts (MoE) projectors, Llama-SMoP enables the use of smaller LLMs while maintaining strong performance. We explore three SMoP configurations and show that Llama-SMoP DEDR (Disjoint-Experts, Disjoint-Routers), which uses modality-specific routers and experts, achieves superior performance on ASR, VSR, and AVSR tasks. Ablation studies confirm its effectiveness in expert activation, scalability, and noise robustness.