De Synergie tussen Data en Multi-Modale Grote Taalmodellen: Een Overzicht vanuit het Perspectief van Gezamenlijke Ontwikkeling

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Auteurs: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Samenvatting

De snelle ontwikkeling van grote taalmodelen (LLMs) is de afgelopen jaren duidelijk zichtbaar geweest. Gebaseerd op de krachtige LLMs, breiden multimodale LLMs (MLLMs) de modaliteit uit van tekst naar een breder spectrum van domeinen, wat wijdverbreide aandacht trekt vanwege het grotere scala aan toepassingsscenario's. Omdat LLMs en MLLMs afhankelijk zijn van enorme hoeveelheden modelparameters en data om emergente capaciteiten te bereiken, krijgt het belang van data steeds meer aandacht en erkenning. Door recente data-gerichte werken voor MLLMs te traceren en te analyseren, zien we dat de ontwikkeling van modellen en data niet twee afzonderlijke paden zijn, maar eerder met elkaar verbonden. Enerzijds dragen grotere en hogere kwaliteit data bij aan betere prestaties van MLLMs, anderzijds kunnen MLLMs de ontwikkeling van data bevorderen. De gezamenlijke ontwikkeling van multimodale data en MLLMs vereist een duidelijk beeld van 1) in welke ontwikkelingsfase van MLLMs specifieke data-gerichte benaderingen kunnen worden ingezet om welke capaciteiten te verbeteren, en 2) door welke capaciteiten te benutten en welke rollen modellen kunnen vervullen, kunnen modellen bijdragen aan multimodale data. Om de data-model gezamenlijke ontwikkeling voor de MLLM-gemeenschap te bevorderen, bekijken we systematisch bestaande werken gerelateerd aan MLLMs vanuit het perspectief van data-model gezamenlijke ontwikkeling. Een regelmatig bijgehouden project dat aan deze survey is gekoppeld, is toegankelijk op https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.