A Sinergia entre Dados e Modelos de Linguagem Multimodais de Grande Escala: Uma Pesquisa sob a Perspectiva de Co-Desenvolvimento

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Autores: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Resumo

O rápido desenvolvimento de grandes modelos de linguagem (LLMs) tem sido testemunhado nos últimos anos. Com base nos poderosos LLMs, os modelos de linguagem multimodais (MLLMs) estendem a modalidade do texto para um espectro mais amplo de domínios, atraindo ampla atenção devido à variedade mais ampla de cenários de aplicação. Como os LLMs e MLLMs dependem de vastas quantidades de parâmetros de modelo e dados para alcançar capacidades emergentes, a importância dos dados está recebendo uma atenção e reconhecimento cada vez maiores. Ao rastrear e analisar trabalhos recentes orientados a dados para MLLMs, descobrimos que o desenvolvimento de modelos e dados não são dois caminhos separados, mas sim interconectados. Por um lado, dados mais amplos e de alta qualidade contribuem para um melhor desempenho dos MLLMs, por outro lado, os MLLMs podem facilitar o desenvolvimento de dados. O co-desenvolvimento de dados multimodais e MLLMs requer uma visão clara de 1) em qual estágio de desenvolvimento dos MLLMs abordagens específicas centradas em dados podem ser empregadas para aprimorar quais capacidades e 2) utilizando quais capacidades e desempenhando quais papéis os modelos podem contribuir para dados multimodais. Para promover o co-desenvolvimento de dados e modelos para a comunidade MLLM, revisamos sistematicamente trabalhos existentes relacionados aos MLLMs a partir da perspectiva de co-desenvolvimento de dados e modelos. Um projeto regularmente mantido associado a esta pesquisa está acessível em https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.