Expandindo os Limites de Desempenho de Modelos Multimodais de Código Aberto com Escalonamento de Modelo, Dados e Tempo de Teste

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

December 6, 2024

Autores: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, Lixin Gu, Xuehui Wang, Qingyun Li, Yimin Ren, Zixuan Chen, Jiapeng Luo, Jiahao Wang, Tan Jiang, Bo Wang, Conghui He, Botian Shi, Xingcheng Zhang, Han Lv, Yi Wang, Wenqi Shao, Pei Chu, Zhongying Tu, Tong He, Zhiyong Wu, Huipeng Deng, Jiaye Ge, Kai Chen, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Resumo

Apresentamos o InternVL 2.5, uma série avançada de modelos de linguagem grande multimodal (MLLM) que se baseia no InternVL 2.0, mantendo sua arquitetura de modelo central e introduzindo melhorias significativas em estratégias de treinamento e teste, bem como qualidade de dados. Neste trabalho, exploramos a relação entre o dimensionamento do modelo e o desempenho, investigando sistematicamente as tendências de desempenho em codificadores de visão, modelos de linguagem, tamanhos de conjuntos de dados e configurações de tempo de teste. Através de extensas avaliações em uma ampla gama de benchmarks, incluindo raciocínio multidisciplinar, compreensão de documentos, compreensão de múltiplas imagens/vídeos, compreensão do mundo real, detecção de alucinação multimodal, fundamentação visual, capacidades multilíngues e processamento de linguagem pura, o InternVL 2.5 apresenta desempenho competitivo, rivalizando com modelos comerciais líderes como o GPT-4o e o Claude-3.5-Sonnet. Notavelmente, nosso modelo é o primeiro MLLM de código aberto a superar 70% no benchmark MMMU, alcançando uma melhoria de 3,7 pontos por meio do raciocínio Chain-of-Thought (CoT) e demonstrando um forte potencial para o dimensionamento no tempo de teste. Esperamos que este modelo contribua para a comunidade de código aberto estabelecendo novos padrões para o desenvolvimento e aplicação de sistemas de IA multimodais. Para uma demonstração do HuggingFace, consulte https://huggingface.co/spaces/OpenGVLab/InternVL

English

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core model architecture while introducing significant enhancements in training and testing strategies as well as data quality. In this work, we delve into the relationship between model scaling and performance, systematically exploring the performance trends in vision encoders, language models, dataset sizes, and test-time configurations. Through extensive evaluations on a wide range of benchmarks, including multi-discipline reasoning, document understanding, multi-image / video understanding, real-world comprehension, multimodal hallucination detection, visual grounding, multilingual capabilities, and pure language processing, InternVL 2.5 exhibits competitive performance, rivaling leading commercial models such as GPT-4o and Claude-3.5-Sonnet. Notably, our model is the first open-source MLLMs to surpass 70% on the MMMU benchmark, achieving a 3.7-point improvement through Chain-of-Thought (CoT) reasoning and showcasing strong potential for test-time scaling. We hope this model contributes to the open-source community by setting new standards for developing and applying multimodal AI systems. HuggingFace demo see https://huggingface.co/spaces/OpenGVLab/InternVL