데이터와 멀티모달 대형 언어 모델 간의 시너지: 공동 개발 관점에서의 조사

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

저자: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

초록

최근 몇 년 동안 대규모 언어 모델(LLM)의 급속한 발전이 이루어져 왔다. 강력한 LLM을 기반으로, 다중 모달 LLM(MLLM)은 텍스트에서 더 넓은 영역으로 모달리티를 확장하여 더 광범위한 응용 시나리오로 인해 폭넓은 관심을 끌고 있다. LLM과 MLLM이 방대한 모델 파라미터와 데이터에 의존하여 새로운 능력을 달성함에 따라, 데이터의 중요성이 점점 더 널리 인식되고 있다. 최근 MLLM을 위한 데이터 중심 작업을 추적하고 분석해 보면, 모델과 데이터의 발전이 별개의 경로가 아니라 상호 연결되어 있음을 알 수 있다. 한편으로는 더 방대하고 고품질의 데이터가 MLLM의 성능을 향상시키는 데 기여하며, 다른 한편으로는 MLLM이 데이터의 발전을 촉진할 수 있다. 다중 모달 데이터와 MLLM의 공동 발전을 위해서는 1) MLLM의 어떤 발전 단계에서 특정 데이터 중심 접근법을 사용하여 어떤 능력을 강화할 수 있는지, 그리고 2) 어떤 능력을 활용하고 어떤 역할을 수행함으로써 모델이 다중 모달 데이터에 기여할 수 있는지에 대한 명확한 시각이 필요하다. MLLM 커뮤니티를 위한 데이터-모델 공동 발전을 촉진하기 위해, 우리는 데이터-모델 공동 발전 관점에서 MLLM과 관련된 기존 작업을 체계적으로 검토한다. 이 설문과 관련된 정기적으로 유지되는 프로젝트는 https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md에서 접근할 수 있다.

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.