Relatório Técnico AndesVL: Um Modelo de Linguagem Multimodal de Grande Escala Eficiente para Dispositivos Móveis
AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model
October 13, 2025
Autores: Zhiwei Jin, Xiaohui Song, Nan Wang, Yafei Liu, Chao Li, Xin Li, Ruichen Wang, Zhihao Li, Qi Qi, Long Cheng, Dongze Hao, Quanlong Zheng, Yanhao Zhang, Haobo Ji, Jian Ma, Zhitong Zheng, Zhenyi Lin, Haolin Deng, Xin Zou, Xiaojie Yin, Ruilin Wang, Liankai Cai, Haijing Liu, Yuqing Qiu, Ke Chen, Zixian Li, Chi Xie, Huafei Li, Chenxing Li, Chuangchuang Wang, Kai Tang, Zhiguang Zhu, Kai Tang, Wenmei Gao, Rui Wang, Jun Wu, Chao Liu, Qin Xie, Chen Chen, Haonan Lu
cs.AI
Resumo
Nos últimos anos, enquanto modelos de linguagem multimodal baseados em nuvem, como QwenVL, InternVL, GPT-4o, Gemini e Claude Sonnet, demonstraram desempenho excepcional com tamanhos de modelo enormes, atingindo centenas de bilhões de parâmetros, eles superam significativamente as limitações de memória, consumo de energia e capacidade computacional de dispositivos de borda, como smartphones. Este artigo apresenta o AndesVL, um conjunto de modelos de linguagem multimodal para dispositivos móveis com 0,6B a 4B de parâmetros, baseados no modelo de linguagem Qwen3 e em vários codificadores visuais. Descrevemos detalhadamente as arquiteturas dos modelos, o pipeline de treinamento e os dados de treinamento do AndesVL, que alcança desempenho de primeira linha em uma ampla gama de benchmarks de código aberto, incluindo áreas como compreensão de imagens ricas em texto, raciocínio e matemática, compreensão de múltiplas imagens, VQA geral, mitigação de alucinações, compreensão multilingue e tarefas relacionadas a interfaces gráficas, quando comparado com os modelos state-of-the-art de escala similar. Além disso, introduzimos uma abordagem de LoRA 1+N.
English
In recent years, while cloud-based MLLMs such as QwenVL, InternVL, GPT-4o,
Gemini, and Claude Sonnet have demonstrated outstanding performance with
enormous model sizes reaching hundreds of billions of parameters, they
significantly surpass the limitations in memory, power consumption, and
computing capacity of edge devices such as mobile phones. This paper introduces
AndesVL, a suite of mobile-side MLLMs with 0.6B to 4B parameters based on
Qwen3's LLM and various visual encoders. We comprehensively outline the model
architectures, training pipeline, and training data of AndesVL, which achieves
first-tier performance across a wide range of open-source benchmarks, including
fields such as text-rich image understanding, reasoning and math, multi-image
comprehension, general VQA, hallucination mitigation, multilingual
understanding, and GUI-related tasks when compared with state-of-the-art models
of a similar scale. Furthermore, we introduce a 1+N LoR