Dallah: Un Modello Linguistico Multimodale di Grandi Dimensioni Consapevole dei Dialetti per l'Arabo

Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic

July 25, 2024

Autori: Fakhraddin Alwajih, Gagan Bhatia, Muhammad Abdul-Mageed

cs.AI

Abstract

I recenti progressi hanno significativamente migliorato le capacità dei Modelli Linguistici Multimodali di Grande Scala (MLLMs) nella generazione e comprensione di contenuti da immagine a testo. Nonostante questi successi, i progressi sono prevalentemente limitati all'inglese a causa della scarsità di risorse multimodali di alta qualità in altre lingue. Questa limitazione ostacola lo sviluppo di modelli competitivi in lingue come l'arabo. Per alleviare questa situazione, introduciamo un assistente multimodale arabo efficiente, denominato Dallah, che utilizza un modello linguistico avanzato basato su LLaMA-2 per facilitare le interazioni multimodali. Dallah dimostra prestazioni all'avanguardia negli MLLM arabi. Attraverso il fine-tuning di sei dialetti arabi, Dallah mostra la sua capacità di gestire interazioni dialettali complesse che incorporano sia elementi testuali che visivi. Il modello eccelle in due test di benchmark: uno che valuta le sue prestazioni sull'Arabo Standard Moderno (MSA) e un altro specificamente progettato per valutare le risposte dialettali. Oltre alle sue solide prestazioni nei compiti di interazione multimodale, Dallah ha il potenziale di aprire la strada a ulteriori sviluppi di MLLM arabi consapevoli dei dialetti.

English

Recent advancements have significantly enhanced the capabilities of Multimodal Large Language Models (MLLMs) in generating and understanding image-to-text content. Despite these successes, progress is predominantly limited to English due to the scarcity of high quality multimodal resources in other languages. This limitation impedes the development of competitive models in languages such as Arabic. To alleviate this situation, we introduce an efficient Arabic multimodal assistant, dubbed Dallah, that utilizes an advanced language model based on LLaMA-2 to facilitate multimodal interactions. Dallah demonstrates state-of-the-art performance in Arabic MLLMs. Through fine-tuning six Arabic dialects, Dallah showcases its capability to handle complex dialectal interactions incorporating both textual and visual elements. The model excels in two benchmark tests: one evaluating its performance on Modern Standard Arabic (MSA) and another specifically designed to assess dialectal responses. Beyond its robust performance in multimodal interaction tasks, Dallah has the potential to pave the way for further development of dialect-aware Arabic MLLMs.