Синергия между данными и много-модальными крупными языковыми моделями: обзор с позиции совместного развития

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

Авторы: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Аннотация

В последние годы наблюдается быстрое развитие крупных языковых моделей (LLM). На основе мощных LLM мультимодальные LLM (MLLM) расширяют модальность с текста на более широкий спектр областей, привлекая широкое внимание из-за более широкого спектра сценариев применения. Поскольку LLM и MLLM полагаются на огромное количество параметров модели и данных для достижения важных возможностей, важность данных получает все более широкое внимание и признание. Изучая и анализируя недавние работы, ориентированные на данные для MLLM, мы обнаруживаем, что развитие моделей и данных не является двумя отдельными путями, а взаимосвязанными. С одной стороны, более обширные и высококачественные данные способствуют лучшей производительности MLLM, с другой стороны, MLLM могут способствовать развитию данных. Совместное развитие мультимодальных данных и MLLM требует четкого понимания 1) на какой стадии развития MLLM могут быть применены конкретные подходы к данным для улучшения каких возможностей и 2) какие возможности и роли моделей могут способствовать мультимодальным данным. Для поощрения совместного развития данных и моделей для сообщества MLLM мы систематически рассматриваем существующие работы, связанные с MLLM с точки зрения совместного развития данных и моделей. Регулярно обновляемый проект, связанный с этим обзором, доступен по адресу https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.