Уменьшение интеллекта: исследование узких мест восприятия и логического вывода в малых мультимодальных моделях
Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models
November 21, 2025
Авторы: Mark Endo, Serena Yeung-Levy
cs.AI
Аннотация
Масштабирование мультимодальных моделей позволило достичь значительных успехов в области визуального понимания и логического вывода, однако практические требования диктуют необходимость создания компактных и эффективных систем. В данной работе мы проводим принципиальный анализ масштабирования интеллектуальных возможностей мультимодальных моделей в сторону уменьшения, исследуя, как сокращение емкости большой языковой модели (БЯМ) влияет на мультимодальные способности. Наши первоначальные результаты выявляют интересную тенденцию: уменьшение масштаба БЯМ непропорционально сильно сказывается именно на визуальных возможностях, а не на способностях, унаследованных от БЯМ. Далее мы исследуем, отражает ли это снижение ожидаемое ухудшение зрительного мышления или же более фундаментальную потерю перцептивных способностей. Изолируя влияние уменьшения БЯМ на восприятие, мы обнаруживаем, что производительность по-прежнему резко падает, зачастую соответствуя или даже превосходя влияние на рассуждение. Для устранения этого узкого места мы предлагаем метод визуальной экстракционной настройки, который явно обучает модель последовательно извлекать визуальные детали, релевантные инструкции, для различных задач. Используя эти извлеченные визуальные детали, мы затем применяем пошаговые рассуждения для генерации ответов. Вместе эти компоненты формируют наш подход «Извлечь+Подумать», устанавливающий новый стандарт эффективности и производительности в данной области.
English
Scaling up multimodal models has enabled remarkable advances in visual understanding and reasoning, but practical demands call for smaller, efficient systems. In this work, we conduct a principled analysis of downscaling intelligence in multimodal models, examining how reduced large language model (LLM) capacity affects multimodal capabilities. Our initial findings reveal an interesting trend: LLM downscaling disproportionately affects visual capabilities, rather than abilities inherited from the LLM. We then examine whether this drop mainly reflects the expected decline in visual reasoning or a more fundamental loss of perceptual abilities. Isolating the effect of LLM downscaling on perception, we find performance still drops sharply, often matching or exceeding the impact on reasoning. To address this bottleneck, we introduce visual extraction tuning, which explicitly trains the model to extract instruction-relevant visual details consistently across tasks. With these extracted visual details, we then apply step-by-step reasoning to generate answers. Together, these components form our Extract+Think approach, setting a new standard for efficiency and performance in this space.