Réduire l'échelle de l'intelligence : Exploration des goulots d'étranglement perceptifs et raisonnés dans les petits modèles multimodaux

Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models

November 21, 2025

papers.authors: Mark Endo, Serena Yeung-Levy

cs.AI

papers.abstract

Le passage à l'échelle des modèles multimodaux a permis des progrès remarquables dans la compréhension et le raisonnement visuels, mais les exigences pratiques nécessitent des systèmes plus petits et efficaces. Dans ce travail, nous menons une analyse méthodique de la réduction d'échelle de l'intelligence dans les modèles multimodaux, en examinant comment une capacité réduite du grand modèle de langage (LLM) affecte les capacités multimodales. Nos premières observations révèlent une tendance intéressante : la réduction d'échelle du LLM affecte de manière disproportionnée les capacités visuelles, plutôt que les capacités héritées du LLM. Nous examinons ensuite si cette baisse reflète principalement le déclin attendu du raisonnement visuel ou une perte plus fondamentale des capacités perceptives. En isolant l'effet de la réduction d'échelle du LLM sur la perception, nous constatons que les performances chutent toujours brutalement, égalant ou dépassant souvent l'impact sur le raisonnement. Pour résoudre ce goulot d'étranglement, nous introduisons le réglage par extraction visuelle, qui forme explicitement le modèle à extraire les détails visuels pertinents pour l'instruction de manière cohérente entre les tâches. Avec ces détails visuels extraits, nous appliquons ensuite un raisonnement étape par étape pour générer les réponses. Ensemble, ces composants forment notre approche Extraire+Raisonner, établissant une nouvelle référence en matière d'efficacité et de performances dans ce domaine.

English

Scaling up multimodal models has enabled remarkable advances in visual understanding and reasoning, but practical demands call for smaller, efficient systems. In this work, we conduct a principled analysis of downscaling intelligence in multimodal models, examining how reduced large language model (LLM) capacity affects multimodal capabilities. Our initial findings reveal an interesting trend: LLM downscaling disproportionately affects visual capabilities, rather than abilities inherited from the LLM. We then examine whether this drop mainly reflects the expected decline in visual reasoning or a more fundamental loss of perceptual abilities. Isolating the effect of LLM downscaling on perception, we find performance still drops sharply, often matching or exceeding the impact on reasoning. To address this bottleneck, we introduce visual extraction tuning, which explicitly trains the model to extract instruction-relevant visual details consistently across tasks. With these extracted visual details, we then apply step-by-step reasoning to generate answers. Together, these components form our Extract+Think approach, setting a new standard for efficiency and performance in this space.