Autoaperfeiçoamento em Modelos de Linguagem Multimodais de Grande Escala: Uma Revisão

Self-Improvement in Multimodal Large Language Models: A Survey

October 3, 2025

Autores: Shijian Deng, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian

cs.AI

Resumo

Os avanços recentes na autoaprimoramento de Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) têm aprimorado de forma eficiente as capacidades dos modelos sem aumentar significativamente os custos, especialmente em termos de esforço humano. Embora essa área ainda seja relativamente nova, sua extensão para o domínio multimodal apresenta um potencial imenso para aproveitar fontes de dados diversificadas e desenvolver modelos autoaprimorados mais gerais. Este estudo é o primeiro a fornecer uma visão abrangente do autoaprimoramento em Modelos de Linguagem Multimodais (MLLMs, na sigla em inglês). Apresentamos uma visão estruturada da literatura atual e discutimos métodos a partir de três perspectivas: 1) coleta de dados, 2) organização de dados e 3) otimização de modelos, para facilitar o desenvolvimento adicional do autoaprimoramento em MLLMs. Também incluímos avaliações comumente utilizadas e aplicações subsequentes. Por fim, concluímos delineando desafios em aberto e direções futuras de pesquisa.

English

Recent advancements in self-improvement for Large Language Models (LLMs) have efficiently enhanced model capabilities without significantly increasing costs, particularly in terms of human effort. While this area is still relatively young, its extension to the multimodal domain holds immense potential for leveraging diverse data sources and developing more general self-improving models. This survey is the first to provide a comprehensive overview of self-improvement in Multimodal LLMs (MLLMs). We provide a structured overview of the current literature and discuss methods from three perspectives: 1) data collection, 2) data organization, and 3) model optimization, to facilitate the further development of self-improvement in MLLMs. We also include commonly used evaluations and downstream applications. Finally, we conclude by outlining open challenges and future research directions.