Auto-miglioramento nei Modelli Linguistici Multimodali di Grandi Dimensioni: Una Rassegna

Self-Improvement in Multimodal Large Language Models: A Survey

October 3, 2025

Autori: Shijian Deng, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian

cs.AI

Abstract

I recenti progressi nell'auto-miglioramento dei Large Language Models (LLM) hanno migliorato in modo efficiente le capacità dei modelli senza aumentare significativamente i costi, in particolare in termini di sforzo umano. Sebbene questo ambito sia ancora relativamente giovane, la sua estensione al dominio multimodale offre un potenziale enorme per sfruttare fonti di dati diversificate e sviluppare modelli auto-miglioranti più generali. Questa rassegna è la prima a fornire una panoramica completa dell'auto-miglioramento nei Multimodal LLM (MLLM). Offriamo una visione strutturata della letteratura attuale e discutiamo i metodi da tre prospettive: 1) raccolta dei dati, 2) organizzazione dei dati e 3) ottimizzazione del modello, per facilitare ulteriori sviluppi nell'auto-miglioramento degli MLLM. Includiamo inoltre valutazioni comunemente utilizzate e applicazioni downstream. Concludiamo infine delineando le sfide aperte e le future direzioni di ricerca.

English

Recent advancements in self-improvement for Large Language Models (LLMs) have efficiently enhanced model capabilities without significantly increasing costs, particularly in terms of human effort. While this area is still relatively young, its extension to the multimodal domain holds immense potential for leveraging diverse data sources and developing more general self-improving models. This survey is the first to provide a comprehensive overview of self-improvement in Multimodal LLMs (MLLMs). We provide a structured overview of the current literature and discuss methods from three perspectives: 1) data collection, 2) data organization, and 3) model optimization, to facilitate the further development of self-improvement in MLLMs. We also include commonly used evaluations and downstream applications. Finally, we conclude by outlining open challenges and future research directions.