La sinergia tra dati e modelli linguistici multimodali di grandi dimensioni: una rassegna dalla prospettiva dello sviluppo congiunto

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Autori: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Abstract

Il rapido sviluppo dei grandi modelli linguistici (LLM) è stato osservato negli ultimi anni. Basandosi sui potenti LLM, i modelli linguistici multimodali (MLLM) estendono la modalità dal testo a uno spettro più ampio di domini, attirando un'attenzione diffusa grazie alla più vasta gamma di scenari applicativi. Poiché gli LLM e gli MLLM si affidano a un'enorme quantità di parametri del modello e di dati per raggiungere capacità emergenti, l'importanza dei dati sta ricevendo un'attenzione e un riconoscimento sempre più ampi. Tracciando e analizzando i recenti lavori orientati ai dati per gli MLLM, scopriamo che lo sviluppo dei modelli e dei dati non è costituito da due percorsi separati, ma piuttosto interconnessi. Da un lato, dati più vasti e di qualità superiore contribuiscono a migliorare le prestazioni degli MLLM; dall'altro, gli MLLM possono facilitare lo sviluppo dei dati. Lo sviluppo congiunto di dati multimodali e MLLM richiede una visione chiara di 1) in quale fase di sviluppo degli MLLM possono essere impiegati approcci specifici centrati sui dati per potenziare quali capacità, e 2) utilizzando quali capacità e agendo in quali ruoli i modelli possono contribuire ai dati multimodali. Per promuovere lo sviluppo congiunto di dati e modelli per la comunità MLLM, esaminiamo sistematicamente i lavori esistenti relativi agli MLLM dal punto di vista dello sviluppo congiunto di dati e modelli. Un progetto regolarmente aggiornato associato a questa rassegna è accessibile all'indirizzo https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.