Самообучение в мультимодальных больших языковых моделях: обзор
Self-Improvement in Multimodal Large Language Models: A Survey
October 3, 2025
Авторы: Shijian Deng, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian
cs.AI
Аннотация
Последние достижения в области самосовершенствования крупных языковых моделей (LLM) позволили эффективно улучшить их возможности без значительного увеличения затрат, особенно в части человеческих усилий. Хотя эта область все еще относительно молода, ее расширение на мультимодальную сферу открывает огромный потенциал для использования разнообразных источников данных и разработки более универсальных самообучающихся моделей. Данный обзор является первым, который предлагает всесторонний анализ самосовершенствования в мультимодальных языковых моделях (MLLM). Мы представляем структурированный обзор текущей литературы и обсуждаем методы с трех точек зрения: 1) сбор данных, 2) организация данных и 3) оптимизация модели, чтобы способствовать дальнейшему развитию самосовершенствования в MLLM. Также включены часто используемые методы оценки и приложения. В заключение мы выделяем открытые проблемы и направления для будущих исследований.
English
Recent advancements in self-improvement for Large Language Models (LLMs) have
efficiently enhanced model capabilities without significantly increasing costs,
particularly in terms of human effort. While this area is still relatively
young, its extension to the multimodal domain holds immense potential for
leveraging diverse data sources and developing more general self-improving
models. This survey is the first to provide a comprehensive overview of
self-improvement in Multimodal LLMs (MLLMs). We provide a structured overview
of the current literature and discuss methods from three perspectives: 1) data
collection, 2) data organization, and 3) model optimization, to facilitate the
further development of self-improvement in MLLMs. We also include commonly used
evaluations and downstream applications. Finally, we conclude by outlining open
challenges and future research directions.