VLM-FO1: Cerrando la Brecha entre el Razonamiento de Alto Nivel y la Percepción Detallada en los Modelos de Lenguaje Visual

VLM-FO1: Bridging the Gap Between High-Level Reasoning and Fine-Grained Perception in VLMs

September 30, 2025

Autores: Peng Liu, Haozhan Shen, Chunxin Fang, Zhicheng Sun, Jiajia Liao, Tiancheng Zhao

cs.AI

Resumen

Los Modelos de Visión-Lenguaje (VLMs, por sus siglas en inglés) destacan en la comprensión de escenas de alto nivel, pero presentan dificultades en tareas de percepción detallada que requieren localización precisa. Este fallo se debe a una discrepancia fundamental, ya que generar coordenadas numéricas exactas es una tarea desafiante para arquitecturas centradas en el lenguaje. En este artículo, presentamos VLM-FO1, un marco novedoso que supera esta limitación al reformular la percepción centrada en objetos, transformándola de un problema frágil de generación de coordenadas en una tarea robusta de recuperación de características. Nuestro método funciona como un módulo plug-and-play que se integra con cualquier VLM preentrenado. Aprovecha un Codificador de Región Detallada Híbrido (HFRE, por sus siglas en inglés), que incluye un codificador visual dual, para generar tokens de región potentes, ricos en detalles semánticos y espaciales. Un sistema de referencia basado en tokens permite que el LLM (Modelo de Lenguaje de Gran Escala) razone y ancle el lenguaje en estas regiones visuales específicas de manera fluida. Los experimentos muestran que VLM-FO1 alcanza un rendimiento de vanguardia en un conjunto diverso de benchmarks, demostrando capacidades excepcionales en anclaje de objetos, comprensión generativa de regiones y razonamiento sobre regiones visuales. De manera crucial, nuestra estrategia de entrenamiento en dos etapas asegura que estas mejoras en percepción se logren sin comprometer las capacidades de comprensión visual general del modelo base. VLM-FO1 establece un paradigma efectivo y flexible para construir VLMs conscientes de la percepción, cerrando la brecha entre el razonamiento de alto nivel y el anclaje visual detallado.

English

Vision-Language Models (VLMs) excel at high-level scene understanding but falter on fine-grained perception tasks requiring precise localization. This failure stems from a fundamental mismatch, as generating exact numerical coordinates is a challenging task for language-centric architectures. In this paper, we introduce VLM-FO1, a novel framework that overcomes this limitation by reframing object-centric perception from a brittle coordinate generation problem into a robust feature retrieval task. Our method operates as a plug-and-play module that integrates with any pre-trained VLM. It leverages a Hybrid Fine-grained Region Encoder (HFRE), featuring a dual vision encoder, to generate powerful region tokens rich in both semantic and spatial detail. A token-based referencing system then enables the LLM to seamlessly reason about and ground language in these specific visual regions. Experiments show that VLM-FO1 achieves state-of-the-art performance across a diverse suite of benchmarks, demonstrating exceptional capabilities in object grounding, region generational understanding, and visual region reasoning. Crucially, our two-stage training strategy ensures that these perception gains are achieved without compromising the base model's general visual understanding capabilities. VLM-FO1 establishes an effective and flexible paradigm for building perception-aware VLMs, bridging the gap between high-level reasoning and fine-grained visual grounding.