Die Synergie zwischen Daten und Multi-Modalen Großen Sprachmodellen: Eine Umfrage aus der Perspektive der Co-Entwicklung

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Autoren: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Zusammenfassung

In den letzten Jahren wurde eine rasante Entwicklung großer Sprachmodelle (LLMs) beobachtet. Basierend auf den leistungsstarken LLMs erweitern Multi-Modal LLMs (MLLMs) die Modalität von Text auf ein breiteres Spektrum von Domänen und ziehen aufgrund des breiteren Anwendungsspektrums weitreichende Aufmerksamkeit auf sich. Da LLMs und MLLMs auf riesige Mengen an Modellparametern und Daten angewiesen sind, um aufkommende Fähigkeiten zu erreichen, erfährt die Bedeutung von Daten eine zunehmend weitreichende Aufmerksamkeit und Anerkennung. Bei der Verfolgung und Analyse aktueller datenorientierter Arbeiten für MLLMs stellen wir fest, dass die Entwicklung von Modellen und Daten keine zwei separaten Wege sind, sondern miteinander verbunden. Einerseits tragen umfangreichere und qualitativ hochwertige Daten zu einer besseren Leistung von MLLMs bei, andererseits können MLLMs die Entwicklung von Daten erleichtern. Die gemeinsame Entwicklung von Multi-Modal-Daten und MLLMs erfordert einen klaren Überblick darüber, 1) in welcher Entwicklungsphase von MLLMs spezifische datenzentrierte Ansätze eingesetzt werden können, um welche Fähigkeiten zu verbessern, und 2) durch die Nutzung welcher Fähigkeiten und welche Rollen Modelle zur Multi-Modal-Daten beitragen können. Um die Daten-Modell-Ko-Entwicklung für die MLLM-Gemeinschaft zu fördern, überprüfen wir systematisch bestehende Arbeiten im Zusammenhang mit MLLMs aus der Perspektive der Daten-Modell-Ko-Entwicklung. Ein regelmäßig gepflegtes Projekt im Zusammenhang mit dieser Umfrage ist unter folgendem Link zugänglich: https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.