Reduzindo a Escala da Inteligência: Explorando os Gargalos de Percepção e Raciocínio em Pequenos Modelos Multimodais

Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models

November 21, 2025

Autores: Mark Endo, Serena Yeung-Levy

cs.AI

Resumo

A ampliação de modelos multimodais tem possibilitado avanços notáveis na compreensão e raciocínio visual, mas as demandas práticas exigem sistemas menores e eficientes. Neste trabalho, realizamos uma análise fundamentada da redução escalar de inteligência em modelos multimodais, examinando como a capacidade reduzida de modelos de linguagem de grande porte (LLM) afeta as capacidades multimodais. Nossas descobertas iniciais revelam uma tendência interessante: a redução escalar do LLM afeta desproporcionalmente as capacidades visuais, em vez das habilidades herdadas do LLM. Em seguida, investigamos se essa queda reflete principalmente o declínio esperado no raciocínio visual ou uma perda mais fundamental das habilidades perceptivas. Isolando o efeito da redução escalar do LLM na percepção, constatamos que o desempenho ainda cai drasticamente, muitas vezes igualando ou superando o impacto no raciocínio. Para abordar esse gargalo, introduzimos o ajuste fino de extração visual, que treina explicitamente o modelo para extrair detalhes visuais relevantes para a instrução de forma consistente entre tarefas. Com esses detalhes visuais extraídos, aplicamos então o raciocínio passo a passo para gerar respostas. Juntos, esses componentes formam nossa abordagem Extrair+Pensar, estabelecendo um novo padrão de eficiência e desempenho neste domínio.

English

Scaling up multimodal models has enabled remarkable advances in visual understanding and reasoning, but practical demands call for smaller, efficient systems. In this work, we conduct a principled analysis of downscaling intelligence in multimodal models, examining how reduced large language model (LLM) capacity affects multimodal capabilities. Our initial findings reveal an interesting trend: LLM downscaling disproportionately affects visual capabilities, rather than abilities inherited from the LLM. We then examine whether this drop mainly reflects the expected decline in visual reasoning or a more fundamental loss of perceptual abilities. Isolating the effect of LLM downscaling on perception, we find performance still drops sharply, often matching or exceeding the impact on reasoning. To address this bottleneck, we introduce visual extraction tuning, which explicitly trains the model to extract instruction-relevant visual details consistently across tasks. With these extracted visual details, we then apply step-by-step reasoning to generate answers. Together, these components form our Extract+Think approach, setting a new standard for efficiency and performance in this space.