La sinergia entre los datos y los modelos de lenguaje grandes multimodales: Un estudio desde la perspectiva de co-desarrollo

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Autores: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Resumen

En los últimos años, se ha presenciado un rápido desarrollo de grandes modelos de lenguaje (LLMs, por sus siglas en inglés). Basados en los potentes LLMs, los modelos de lenguaje multi-modales (MLLMs) amplían la modalidad desde el texto a un espectro más amplio de dominios, atrayendo una atención generalizada debido a la amplia gama de escenarios de aplicación. Dado que los LLMs y MLLMs dependen de vastas cantidades de parámetros de modelo y datos para lograr capacidades emergentes, la importancia de los datos está recibiendo una atención y reconocimiento cada vez mayores. Al rastrear y analizar trabajos recientes orientados a los datos para MLLMs, encontramos que el desarrollo de modelos y datos no son dos caminos separados, sino más bien interconectados. Por un lado, datos más vastos y de mayor calidad contribuyen a un mejor rendimiento de los MLLMs, por otro lado, los MLLMs pueden facilitar el desarrollo de datos. La coevolución de datos multi-modales y MLLMs requiere una visión clara de 1) en qué etapa de desarrollo de los MLLMs se pueden emplear enfoques centrados en datos específicos para mejorar qué capacidades, y 2) mediante qué capacidades y desempeñando qué roles pueden los modelos contribuir a los datos multi-modales. Para promover la coevolución de datos y modelos para la comunidad de MLLM, revisamos sistemáticamente los trabajos existentes relacionados con MLLMs desde la perspectiva de coevolución de datos y modelos. Un proyecto mantenido regularmente asociado con esta encuesta está disponible en https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.