データとマルチモーダル大規模言語モデルの相乗効果：共進化の観点からのサーベイ

The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

July 11, 2024

著者: Zhen Qin, Daoyuan Chen, Wenhao Zhang, Liuyi Yao, Yilun Huang, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

要旨

近年、大規模言語モデル（LLM）の急速な発展が目撃されています。強力なLLMを基盤として、マルチモーダルLLM（MLLM）はテキストからより広範な領域へとモダリティを拡張し、より多様な応用シナリオにより広く注目を集めています。LLMとMLLMは、膨大なモデルパラメータとデータに依存して創発的な能力を実現するため、データの重要性がますます広く認識されるようになっています。最近のMLLM向けのデータ中心の研究を追跡・分析すると、モデルとデータの開発は別々の道ではなく、相互に関連していることがわかります。一方では、より広範で高品質なデータがMLLMの性能向上に寄与し、他方では、MLLMがデータの開発を促進することができます。マルチモーダルデータとMLLMの共発展を進めるためには、1) MLLMのどの開発段階で特定のデータ中心のアプローチを採用してどの能力を強化できるか、2) どの能力を活用し、どの役割を果たすことでモデルがマルチモーダルデータに貢献できるかを明確にする必要があります。MLLMコミュニティにおけるデータとモデルの共発展を促進するため、我々はデータとモデルの共発展の観点からMLLMに関連する既存の研究を体系的にレビューします。この調査に関連する定期的に更新されるプロジェクトは、https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md でアクセス可能です。

English

The rapid development of large language models (LLMs) has been witnessed in recent years. Based on the powerful LLMs, multi-modal LLMs (MLLMs) extend the modality from text to a broader spectrum of domains, attracting widespread attention due to the broader range of application scenarios. As LLMs and MLLMs rely on vast amounts of model parameters and data to achieve emergent capabilities, the importance of data is receiving increasingly widespread attention and recognition. Tracing and analyzing recent data-oriented works for MLLMs, we find that the development of models and data is not two separate paths but rather interconnected. On the one hand, vaster and higher-quality data contribute to better performance of MLLMs, on the other hand, MLLMs can facilitate the development of data. The co-development of multi-modal data and MLLMs requires a clear view of 1) at which development stage of MLLMs can specific data-centric approaches be employed to enhance which capabilities, and 2) by utilizing which capabilities and acting as which roles can models contribute to multi-modal data. To promote the data-model co-development for MLLM community, we systematically review existing works related to MLLMs from the data-model co-development perspective. A regularly maintained project associated with this survey is accessible at https://github.com/modelscope/data-juicer/blob/main/docs/awesome_llm_data.md.