다중모드 일반주의자로의 여정: 일반 수준과 일반 벤치마크

On Path to Multimodal Generalist: General-Level and General-Bench

May 7, 2025

저자: Hao Fei, Yuan Zhou, Juncheng Li, Xiangtai Li, Qingshan Xu, Bobo Li, Shengqiong Wu, Yaoting Wang, Junbao Zhou, Jiahao Meng, Qingyu Shi, Zhiyuan Zhou, Liangtao Shi, Minghe Gao, Daoan Zhang, Zhiqi Ge, Weiming Wu, Siliang Tang, Kaihang Pan, Yaobo Ye, Haobo Yuan, Tao Zhang, Tianjie Ju, Zixiang Meng, Shilin Xu, Liyu Jia, Wentao Hu, Meng Luo, Jiebo Luo, Tat-Seng Chua, Shuicheng Yan, Hanwang Zhang

cs.AI

초록

다중모드 대형 언어 모델(Multimodal Large Language Model, MLLM)은 현재 LLM의 고급 기능에 힘입어 급속한 성장을 경험하고 있다. 이전의 전문가 모델과 달리, 기존 MLLM은 다중모드 일반주의(Multimodal Generalist) 패러다임으로 진화하고 있다. 초기에는 여러 모드를 이해하는 데 제한적이었던 이 모델들은 이제 여러 모드를 이해할 뿐만 아니라 생성할 수 있는 수준까지 발전했다. 이들의 능력은 거시적에서 미시적인 다중모드 이해로 확장되었으며, 제한된 모드에서 임의의 모드를 지원하는 수준까지 진보했다. MLLM을 평가하기 위한 많은 벤치마크가 존재하지만, 중요한 질문이 제기된다: 여러 작업에서 더 높은 성능이 더 강력한 MLLM 능력을 나타내며, 인간 수준의 AI에 더 가까워진다는 것을 단순히 가정할 수 있는가? 우리는 그 답이 생각만큼 간단하지 않다고 주장한다. 이 프로젝트는 MLLM의 성능과 일반성을 5단계로 정의한 평가 프레임워크인 General-Level을 소개하며, MLLM을 비교하고 기존 시스템이 더 강력한 다중모드 일반주의자로, 궁극적으로는 AGI(일반 인공지능)로 나아가는 진전을 측정하는 방법론을 제공한다. 이 프레임워크의 핵심은 시너지(Synergy) 개념으로, 모델이 이해와 생성, 그리고 여러 모드에 걸쳐 일관된 능력을 유지하는지를 측정한다. 이 평가를 지원하기 위해, 우리는 700개 이상의 작업과 325,800개의 인스턴스를 포함한 더 넓은 스펙트럼의 기술, 모드, 형식 및 능력을 포괄하는 General-Bench를 제시한다. 100개 이상의 최첨단 MLLM을 포함한 평가 결과는 일반주의자의 능력 순위를 밝히며, 진정한 AI에 도달하기 위한 과제를 강조한다. 우리는 이 프로젝트가 차세대 다중모드 기반 모델에 대한 미래 연구의 길을 열고, AGI 실현을 가속화하기 위한 견고한 인프라를 제공할 것으로 기대한다. 프로젝트 페이지: https://generalist.top/

English

The Multimodal Large Language Model (MLLM) is currently experiencing rapid growth, driven by the advanced capabilities of LLMs. Unlike earlier specialists, existing MLLMs are evolving towards a Multimodal Generalist paradigm. Initially limited to understanding multiple modalities, these models have advanced to not only comprehend but also generate across modalities. Their capabilities have expanded from coarse-grained to fine-grained multimodal understanding and from supporting limited modalities to arbitrary ones. While many benchmarks exist to assess MLLMs, a critical question arises: Can we simply assume that higher performance across tasks indicates a stronger MLLM capability, bringing us closer to human-level AI? We argue that the answer is not as straightforward as it seems. This project introduces General-Level, an evaluation framework that defines 5-scale levels of MLLM performance and generality, offering a methodology to compare MLLMs and gauge the progress of existing systems towards more robust multimodal generalists and, ultimately, towards AGI. At the core of the framework is the concept of Synergy, which measures whether models maintain consistent capabilities across comprehension and generation, and across multiple modalities. To support this evaluation, we present General-Bench, which encompasses a broader spectrum of skills, modalities, formats, and capabilities, including over 700 tasks and 325,800 instances. The evaluation results that involve over 100 existing state-of-the-art MLLMs uncover the capability rankings of generalists, highlighting the challenges in reaching genuine AI. We expect this project to pave the way for future research on next-generation multimodal foundation models, providing a robust infrastructure to accelerate the realization of AGI. Project page: https://generalist.top/