ERGO: Compreensão Visual Eficiente em Alta Resolução para Modelos de Visão e Linguagem

Resumo

O processamento eficiente de imagens de alta resolução é crucial para aplicações práticas de visão e linguagem. No entanto, os modelos de Grande Visão e Linguagem (LVLMs) existentes incorrem em um custo computacional substancial devido ao grande número de tokens visuais. Com o advento dos modelos de "pensar com imagens", o raciocínio agora se estende além do texto para o domínio visual. Essa capacidade motiva nosso pipeline de raciocínio em duas etapas "do grosseiro ao refinado": primeiro, uma imagem reduzida é analisada para identificar regiões relevantes à tarefa; em seguida, apenas essas regiões são recortadas em resolução total e processadas em uma etapa subsequente de raciocínio. Essa abordagem reduz o custo computacional enquanto preserva detalhes visuais refinados onde necessário. Um grande desafio reside em inferir quais regiões são verdadeiramente relevantes para uma determinada consulta. Métodos relacionados recentes frequentemente falham na primeira etapa após a redução da imagem de entrada, devido ao raciocínio baseado em percepção, onde informações visuais claras são necessárias para um raciocínio eficaz. Para resolver esse problema, propomos o ERGO (Raciocínio Eficiente e Observação Guiada), que realiza percepção impulsionada por raciocínio, aproveitando o contexto multimodal para determinar onde focar. Nosso modelo pode considerar a incerteza perceptual, expandindo a região recortada para cobrir áreas visualmente ambíguas ao responder perguntas. Para isso, desenvolvemos componentes de recompensa simples, mas eficazes, em um framework de aprendizado por reforço para percepção do grosseiro ao refinado. Em vários conjuntos de dados, nossa abordagem oferece maior precisão do que o modelo original e métodos competitivos, com maior eficiência. Por exemplo, o ERGO supera o Qwen2.5-VL-7B no benchmark V* por 4,7 pontos, usando apenas 23% dos tokens visuais, alcançando uma aceleração de inferência de 3x. O código e os modelos podem ser encontrados em: https://github.com/nota-github/ERGO.

English

Efficient processing of high-resolution images is crucial for real-world vision-language applications. However, existing Large Vision-Language Models (LVLMs) incur substantial computational overhead due to the large number of vision tokens. With the advent of "thinking with images" models, reasoning now extends beyond text to the visual domain. This capability motivates our two-stage "coarse-to-fine" reasoning pipeline: first, a downsampled image is analyzed to identify task-relevant regions; then, only these regions are cropped at full resolution and processed in a subsequent reasoning stage. This approach reduces computational cost while preserving fine-grained visual details where necessary. A major challenge lies in inferring which regions are truly relevant to a given query. Recent related methods often fail in the first stage after input-image downsampling, due to perception-driven reasoning, where clear visual information is required for effective reasoning. To address this issue, we propose ERGO (Efficient Reasoning & Guided Observation) that performs reasoning-driven perception-leveraging multimodal context to determine where to focus. Our model can account for perceptual uncertainty, expanding the cropped region to cover visually ambiguous areas for answering questions. To this end, we develop simple yet effective reward components in a reinforcement learning framework for coarse-to-fine perception. Across multiple datasets, our approach delivers higher accuracy than the original model and competitive methods, with greater efficiency. For instance, ERGO surpasses Qwen2.5-VL-7B on the V* benchmark by 4.7 points while using only 23% of the vision tokens, achieving a 3x inference speedup. The code and models can be found at: https://github.com/nota-github/ERGO.

ERGO: Compreensão Visual Eficiente em Alta Resolução para Modelos de Visão e Linguagem

ERGO: Efficient High-Resolution Visual Understanding for Vision-Language Models

Resumo

Support